视频讲解
长对话被画成成排的包裹,缓存断点前的部分逐轮复用;修改较早的提示词后,可复用的范围缩小。
重复前缀可复用
相同的提示词前缀可以复用之前处理的结果,从而减少重复计算。缓存仍受服务的具体规则约束。
改动的位置很重要
前缀中的早期改动可能影响后面的匹配;把稳定内容放在前部有助于复用。
成本读数不是通用报价
缓存读写、有效期与计价因平台而异。视频给出的比例是特定示例,不能作为当前所有模型的收费标准。
Pizza Yap 🍕 · 作者原帖
长对话被画成成排的包裹,缓存断点前的部分逐轮复用;修改较早的提示词后,可复用的范围缩小。
相同的提示词前缀可以复用之前处理的结果,从而减少重复计算。缓存仍受服务的具体规则约束。
前缀中的早期改动可能影响后面的匹配;把稳定内容放在前部有助于复用。
缓存读写、有效期与计价因平台而异。视频给出的比例是特定示例,不能作为当前所有模型的收费标准。