长文本处理:分块、摘要与上下文组织
了解长文本为什么需要分块,使用 Python 实现按段落切分,并把分块摘要组织成一次最终总结。
从标题、正文、标签与分类中查找内容
了解长文本为什么需要分块,使用 Python 实现按段落切分,并把分块摘要组织成一次最终总结。
通过少量输入输出示例和 Python 提示词模板,理解如何约束模型行为,并构建可复用、易测试的请求。
从任务、上下文、约束和输出格式四个部分拆解提示词,使用一个最小 Python 示例写出更稳定、可验证的模型请求。
理解模型选择的核心权衡:能力、延迟与价格,学会按任务匹配模型档次,并用 usage 字段估算每次 API 调用的成本。
理解大模型 API 调用中常见的超时、限流、连接错误,学会用 SDK 内置重试与手写指数退避让程序在接口不稳定时也能可靠运行。
用 response_format 让模型直接返回 JSON,对比 json_object、json_schema 与 Pydantic parse 三种方式的用法、差异和常见坑。
用 stream=True 让模型回复像打字一样逐字出现,理解流式 chunk 的结构、如何累加完整文本与获取 token 用量。
理解 temperature、top_p、max_tokens 和 stop 四个核心生成参数,通过最小可运行示例观察它们如何影响模型输出。
理解 Token 与上下文窗口的概念,学会用 tiktoken 估算 token 数量,并写出一个自动裁剪历史的方案,避免对话因超限而中断。
理解大模型 API 中的三种消息角色,学会管理对话历史,写出能记住上下文的聊天程序。