沿着 Karpathy 的 nano-gpt 路线,一学期亲手训练一个自己的语言模型——从 Tokenizer 开始,跑通预训练、Fine-tune、评估、发布。学期末孩子真的有"我训出来的 GPT"。
这是 AI 通识四层的最深一阶——动手到引擎盖底下。
严格沿 nano-gpt 路线:环境 → tokenizer → embedding → attention → 训练 → fine-tune → 评估 → 发布。
一个真的可以放进 Github / 简历 / 申请文书的技术作品。
一个完整训练 + Fine-tune 完成的小语言模型,部署在 Hugging Face Spaces 或本地 demo,可以让别人访问试用。
完整训练代码 + 数据 + 文档——一个孩子可以用 16 年大学申请的真实技术作品。
一篇 2000 字技术博客 + 一份调超参实验对比报告——能放进申请文书的真实技术写作。
15 分钟正式技术答辩录像——孩子第一次面对真观众讲清楚一个技术决策。
严格"读经典"路线:这门课不自创内容——我们就跟 Andrej Karpathy 这位世界级研究员的 nano-gpt 教学项目走,他怎么讲我们怎么讲,多加的只是中文翻译和孩子能感受的例子。这是"读经典"教学法在 AI 时代的体现。
每周必有可运行代码:16 周每周的产出都不只是"理解了",而是"能跑通"——一段 Python 代码、一个 loss 曲线、一份训练日志。这种实证训练,是为高中孩子做学术 / 科研准备最有效的方式。
真发布 + 真技术写作:W15 强制要部署 demo 给别人用 + 写一篇技术博客。"真出去"是这门课的硬要求——只有把作品晒出去,孩子才会认真。
详细教学法见 教学法六步循环 · 训练范式见 Pretrain × Posttrain × Harness × Delivery。