当你的 Agent 用量上来之后,省钱往往不是“换个更便宜模型”一条路,而是工程细节。
技巧 1:谷时调度
把日报生成、批量摘要等非紧急任务放到服务商低谷时段执行,单位成本差异明显,效果不变。
技巧 2:前缀瘦身
很多任务的系统提示 / 上下文前缀存在大量重复 token,把公共前缀抽成缓存友好的形式,命中率上去了,账单自然下降。
度量先行
先跑一周统计你各任务的 token 分布,再动刀。别凭感觉优化。
注意:缓存策略与计价以各服务商最新计费规则为准。
当你的 Agent 用量上来之后,省钱往往不是“换个更便宜模型”一条路,而是工程细节。
把日报生成、批量摘要等非紧急任务放到服务商低谷时段执行,单位成本差异明显,效果不变。
很多任务的系统提示 / 上下文前缀存在大量重复 token,把公共前缀抽成缓存友好的形式,命中率上去了,账单自然下降。
先跑一周统计你各任务的 token 分布,再动刀。别凭感觉优化。
注意:缓存策略与计价以各服务商最新计费规则为准。