Roko AI · ANATOMYEnglish

提示词前缀缓存

Pizza Yap 🍕 · 作者原帖

视频讲解

长对话被画成成排的包裹,缓存断点前的部分逐轮复用;修改较早的提示词后,可复用的范围缩小。

重复前缀可复用

相同的提示词前缀可以复用之前处理的结果,从而减少重复计算。缓存仍受服务的具体规则约束。

改动的位置很重要

前缀中的早期改动可能影响后面的匹配;把稳定内容放在前部有助于复用。

成本读数不是通用报价

缓存读写、有效期与计价因平台而异。视频给出的比例是特定示例,不能作为当前所有模型的收费标准。

延伸阅读

相关视频