视频讲解
模型调用计数器、手机界面与机械执行器把 AI 测试过程画成一台机器:代理第一次观察界面并操作,后续通过缓存重放动作,界面变化时再交回代理。
目标驱动操作
代理根据截图与界面信息选择操作;自然语言目标仍需要独立断言验证结果。
成功轨迹可缓存
e2e 缓存通过检查的动作,后续重放可避免同一步骤重复请求模型。
变化时重新规划
缓存不是永久保证:界面变化导致重放失败时,代理需要寻找新路径并重新验证。
Kacper Kapuściak · 作者原帖
模型调用计数器、手机界面与机械执行器把 AI 测试过程画成一台机器:代理第一次观察界面并操作,后续通过缓存重放动作,界面变化时再交回代理。
代理根据截图与界面信息选择操作;自然语言目标仍需要独立断言验证结果。
e2e 缓存通过检查的动作,后续重放可避免同一步骤重复请求模型。
缓存不是永久保证:界面变化导致重放失败时,代理需要寻找新路径并重新验证。