CHAPTER · 01
大模型的运作原理
每次只预测下一个词,这就是全部。所有本事和所有毛病都从这里长出来。
CHAPTER · 02
大模型与搜索引擎的区别
搜索给你书架,大模型给你结论。凭记忆回答,就没有出处可查。
CHAPTER · 03
训练与推理的区别
一个是喂出来,一个是用起来。费用和能力的边界都在这条线两边。
CHAPTER · 04
训练数据从哪来
语料的构成,决定了模型偏向谁、缺哪一块。
CHAPTER · 05
模型的六种类型
文本、图片、视频、语音合成、语音识别、向量。输入输出和计费单位各不相同。
CHAPTER · 06
推理模型与普通模型
深度思考是先生成一段推理再作答。什么任务值得多花那份钱。
CHAPTER · 07
开源与闭源
权重公开意味着什么,什么时候自己部署才划算。
CHAPTER · 08
Token 与计费单位
大模型不按字数收费。中英文的差价,就是从切分方式来的。
CHAPTER · 09
参数量与跑分怎么看
参数、上下文长度、跑分,是三件不同的事,别混着看。
CHAPTER · 10
温度与随机性
同一个问题每次答案不同,是设计出来的,不是故障。什么时候该关掉。
CHAPTER · 11
调用一个模型需要什么
base_url、模型名、API Key 三件套。为什么大家都兼容 OpenAI 格式。
CHAPTER · 12
常用调用参数
max_tokens、top_p、stream、system,每个参数在产品上意味着什么。
CHAPTER · 13
选型与降级
按任务分档配模型,主模型挂了怎么自动退到备用。
CHAPTER · 14
幻觉产生的原因
幻觉是生成机制的必然产物,不是 bug。所以只能防,不能修。
CHAPTER · 15
知识截止日期
大模型不知道昨天发生了什么,除非你把昨天塞进去。
CHAPTER · 16
多模态:图片怎么被读懂
多模态是后来加装的。加装的方式决定了模型能看多细。