视频讲解
五个机械小场景分别表现分词、上下文窗口、输出生成、缓存与用量计数。传送带和转动零件将软件过程空间化，帮助理解输入如何变成 token，再在有限上下文中产生输出。
文本先变成 token
token 是模型处理的单位，可能是词、词的一部分或其他符号；不能固定等同于一个字或一个单词。
上下文有容量
输入、历史内容和输出预算共同受到模型窗口限制，机械窗口是容量边界的比喻。
缓存与计量是不同环节
缓存复用可避免部分重复计算；用量计数显示消耗，实际规则取决于服务提供方。
把大模型推理画成机器
Ameer Ashhab - oss/acc · 作者原帖