LLM 基础认知

产品经理需要了解的 LLM 知识

你不需要成为 AI 工程师，但你需要理解 LLM 的核心概念，才能做出正确的产品决策。

核心概念

Token

Token 是 LLM 处理文本的基本单位。一个中文字通常是 1-2 个 Token。

对产品设计的影响：

• Token 数决定了成本和响应速度
• 输入/输出 Token 的限制影响了功能设计
• 需要在功能丰富度和成本之间权衡

上下文窗口（Context Window）

模型一次能处理的最大 Token 数。

对产品设计的影响：

• 决定了单次对话能包含多少信息
• 影响多轮对话的设计策略
• 超长文档处理需要分段策略

Temperature

控制模型输出随机性的参数，范围 0-1。

• 低 Temperature (0-0.3)：输出更确定、更保守，适合事实性问答
• 高 Temperature (0.7-1.0)：输出更多样、更有创意，适合头脑风暴

幻觉（Hallucination）

模型生成看似合理但实际错误的内容。

产品设计要点

永远不要让用户完全信任 AI 的输出。设计产品时要考虑：

• 重要信息的核实机制
• AI 输出的置信度展示
• 人工审核的兜底流程

主流模型对比

模型	优势	适用场景
Claude	长文本理解、代码、安全性	文档分析、编程辅助
GPT-4o	多模态、生态丰富	通用场景、插件生态
Gemini	Google 生态、多模态	搜索增强、视频理解
开源模型	可私有化部署、成本可控	数据敏感场景、定制化需求

PM 需要关注的技术趋势

1. 多模态：文本、图片、音频、视频的统一理解
2. AI Agent：从单轮问答到自主完成复杂任务
3. RAG：结合外部知识库提升准确性
4. 微调：针对特定场景优化模型表现