你可能会说
我想在项目中用到推理，应该怎么开始？
训练好的模型「实际干活」的过程——接收你的输入，计算出回答。
训练好的模型「实际干活」的过程——接收你的输入，计算出回答。训练是学习，推理是应用。
生活类比
像学生考试——学习（训练）了三年，考试（推理）时把知识用出来答题。
🎮 动手试试
关于「推理」，以下哪个描述最准确？
你可以这样告诉 AI
我的应用每天要调用 1 万次问答，帮我算一下用 GPT-4o 和 Claude 3.5 的推理成本分别是多少，推荐性价比最高的方案。
推理是「使用」模型的过程（考试），训练是「打造」模型的过程（上学）。
评估 AI 成本
调用 API 按推理 Token 计费，理解推理概念能帮你估算用量、选性价比最高的模型。
和 AI 协作时
告诉 AI「这个功能要控制推理延迟在 500ms 内，帮我在模型选择和缓存策略上给建议」。
不调用 AI API
项目只用到前端展示、后端 CRUD，没有接入任何 AI 服务，推理概念对你没有实际影响。
纯研究训练过程
只关心模型架构、训练方法、数据配比的研究者，推理阶段不是重点。
训练好的模型「实际干活」的过程——接收你的输入，计算出回答。训练是学习，推理是应用。
像学生考试——学习（训练）了三年，考试（推理）时把知识用出来答题。
和 AI 沟通时提到「推理成本太高」，指的是每次生成回答消耗的算力费用。