Autoplay
Autocomplete
Previous Lesson
Complete and Continue
DeepSeek系统实战：架构·算法·工程·应用
DeepSeek 系统实战：架构 · 算法 · 工程 · 应用
课程导读 (8:04)
移动端学习指南（Teachable App）
微信小店/淘宝购买指引
课程资源中心
加入学习圈：Discord / 微信群入口
第一章 DeepSeek 全景揭秘 开启大模型之旅
全球 AI 大模型发展概览 (12:25)
从通用到推理：模型范式的重大转折 (8:31)
DeepSeek 模型系列全面梳理 (7:10)
DeepSeek 的技术突破 (16:42)
DeepSeek 现象背后的深层逻辑 (3:34)
DeepSeek R1 核心技术模块 (9:02)
AI Agent 浪潮：DeepSeek 的推理赋能 (11:25)
第二章 DeepSeek 模型微调、本地部署与 RAGFlow 应用
vLLM 框架特性与技术优势详解 (8:07)
DeepSeek 推理服务：vLLM 部署全攻略 (15:23)
企业级 vLLM 服务部署：Docker + Nginx 实现 DeepSeek 负载均衡 (14:01)
SGLang 框架核心架构与技术创新 (6:52)
SGLang 部署 DeepSeek 全攻略：离线推理与 OpenAI 兼容 API 服务 (7:58)
企业级 SGLang 部署方案：Docker 多实例与 Nginx 负载均衡配置 (7:01)
llama.cpp 框架核心架构与技术优势详解 (5:11)
llama.cpp 生产环境搭建：CUDA 编译与模型转换实操 (9:51)
企业级 llama.cpp 集群部署：Docker 多实例与 Nginx 负载均衡实战 (12:28)
使用 Unsloth 微调 DeepSeek 模型：从数据预处理到模型推理全流程 (23:27)
基于 Unsloth 与 GRPO：从零构建数学推理模型的多维度奖励函数体系 (24:25)
LLaMA-Factory 微调模型指南：LoRA 与全参数训练详解 (24:08)
GRPO 实战：使用 EasyR1 训练 DeepSeek-R1 蒸馏版模型 (11:56)
企业级 Agentic RAG 引擎项目 RAGFlow 介绍 (7:09)
RAGFlow 产品本地部署与实战演示 (50:17)
RAGFlow 的五层架构设计和核心模块功能 (8:35)
DeepDoc 文档解析 / 智能分块与检索三位一体 (7:20)
RAGFlow Agent 工作流引擎详解 (8:24)
第三章 神经网络基石：激活函数与归一化原理与实战
激活函数原理概述 (6:25)
输出层激活函数 sigmoid 和 softmax (13:36)
四种主流隐藏层激活函数 ReLU / PReLU / Swish / SwiGLU (20:57)
BN 批归一化算法原理与实战 (15:12)
LN 层归一化算法原理与实战 (14:34)
RMSNorm 均方根归一化算法原理与实战 (13:47)
Post-Norm 与 Pre-Norm 算法原理与实战 (18:38)
第四章 读懂语言：分词器 BPE / BBPE 原理与实战
分词器原理入门：BPE 和 BBPE 全解析 (12:01)
BPE 分词算法详解：从背景到核心原理全面解析 (8:59)
SentencePiece 实战：手把手训练中文 BPE 分词器 (7:21)
字节级 BPE vs 字符级 BPE：OpenAI 的巧妙改进策略 (5:40)
Byte-level BPE 完整算法流程详解 (5:18)
基于 tokenizers 实现 BBPE 分词器训练与解码实战 (6:19)
第五章 核心架构解码 注意力 MHA / GQA / MLA 原理与实战
为什么需要注意力机制 (11:59)
多头自注意力 MHA 机制原理与实现 (11:18)
GQA 分组查询注意力全解读 (19:08)
MLA 算法详解：低秩压缩与 KV 缓存优化 (19:28)
MLA 算法详解：标准 RoPE 与 MLA 低秩 KV 压缩的冲突 (17:10)
MLA 算法详解：解耦 RoPE 在优化 KV 缓存与推理效率中的关键作用 (13:12)
MLA 算法详解：投影吸收释放低秩 KV 缓存的计算潜能 (15:18)
MLA KV 缓存对比及核心优势总结 (8:20)
深度解析 MHA / MQA / MLA 完整对比实验 (13:32)
数据集处理全流程：从原始数据到分词器训练 (7:33)
模型训练实战：损失函数与优化策略详解 (6:42)
模型推理逻辑实现：文本生成效果实战评估 (3:47)
从零构建 GPT 架构实战：Transformer 核心组件深度实现 (7:36)
MLA 核心算法实战：KV 缓存压缩技术详解 (10:49)
第六章 位置编码揭秘 RoPE 与 YaRN 位置编码详解
绝对位置编码 原理与实战 (8:54)
RoPE 相对位置编码 原理与实战 (19:26)
位置差值 原理与实战 (16:06)
主流插值算法 NTK-aware 原理与实战 (16:19)
主流插值算法 NTK-by-parts 原理与实战 (19:48)
YaRN 相对位置编码 原理与实战 (14:56)
第七章 MoE 专家混合技术详解与 nanoMoE 项目实战
MoE 专家混合的核心概念：专家与路由器选择 以及负载均衡策略 (29:01)
DeepSeek-MoE 架构创新：细粒度专家分割 以及共享专家隔离 (25:13)
DeepSeek-V3 关键升级：无辅助损失 以及序列级别损失 (23:53)
nanoMoE 深度解析：MoE 模型训练框架的极简实现 (20:00)
nanoMoE 项目实战：从环境配置到 GPT 与 MoE 模型训练 (18:29)
MoE 专家激活模式、路由权重与负载均衡可视化分析 (14:58)
MoE 核心源码解析：路由机制与专家计算的实现细节 (14:47)
第八章 MTP 多词元预测技术详解与实战
MTP 多词元预测核心算法原理 (30:20)
DeepSeek MTP 核心算法原理与 Meta MTP 的算法差异 (22:29)
基于 vLLM 部署模型并基于 prompt lookup 和 draft 进行解码实践 (13:53)
详解 vLLM 框架中 DeepSeek MTP 源码实现 (16:10)
DeepSeek MTP 算法模拟实现 Demo (10:03)
第九章 强化学习 PPO & GRPO 深度解析与算法实战
大模型对齐技术入门：SFT 与 RLHF 原理初探 (18:33)
PPO 算法简介 (2:44)
从策略梯度到 TRPO 再到 PPO 的问题与演进 (14:10)
PPO 算法详解：裁剪 clip 的魔法与自适应惩罚 (8:19)
PPO 中优势函数的定义与作用 (11:30)
PPO 中优势函数估计的三种方法 (12:26)
PPO 联合损失函数详解：策略损失 / 价值损失 / 熵奖励 (9:19)
PPO 实战：基于字节VeRL框架 从环境搭建到模型训练完整教程 (14:49)
PPO 的痛点与 GRPO 的破局 (8:36)
GRPO 算法详解：无价值函数的高效策略优化方案 (12:32)
GRPO 算法核心：KL 散度无偏估计器详解 (8:22)
结果监督 ORM 原理与优势 (6:51)
过程监督 PRM 原理与优势 (10:24)
迭代式监督原理与优势 (6:10)
GRPO 三种监督模式详解与 PPO 对比分析 (5:57)
基于 VeRL 实战 GRPO 演示 (16:36)
GRPO三阶段训练流程与关键技术解析 (10:14)
从0到1实现 GRPO 算法实战：训练Qwen3解决数学问题 (12:02)
GRPO 训练环境搭建：从库导入到超参数配置详解 (12:13)
训练数据集配置：从零开始构建 GRPO 数据 pipeline (10:44)
深度解析 GRPO 奖励机制：格式奖励 / 计算奖励的完整实现 (10:43)
深入理解 Rollout 生成：GRPO 中的样本创建与奖励分配机制 (21:22)
GRPO 策略梯度损失函数的实现与解析 (15:17)
GRPO 模型训练核心技术：策略梯度损失计算与 vLLM 引擎优化策略 (16:02)
第十章 打造最强底座 DeepSeek 系统工程优化
驱动大模型性能与效率的核心支柱 (8:35)
基石篇：数据与存储底座 smallpond / 3FS (6:58)
训练篇：压榨每一寸算力 DeepGEMM / DeepEP / DualPipe (21:15)
微调篇：MoE 微调技术优化方案 ESFT (8:17)
推理篇：构建世界级在线服务系统 FlashMLA / EPLB (11:43)
总结：DeepSeek 系统优化的道与术 (4:47)
第十一章 DeepSeek-OCR 生产级落地：算法拆解 / LoRA 微调 / API 部署
DeepSeek-OCR 概述：用视觉模态突破长文本压缩瓶颈 (8:22)
DeepEncoder 用局部感知 + 全局理解构建高效视觉编码器 (14:26)
DeepSeek-OCR 动态多分辨率策略 (10:30)
OCR 2.0 数据引擎详细 (3:53)
OCR 性能验证、应用局限与科研延展方向 (6:41)
OCR 部署实战：PDF批量处理、图片识别与 API 服务部署 (16:23)
OCR 微调实战：Unsloth + LoRA 高效训练完整教程 (28:18)
生产级 OCR 开发实战：前后端服务部署与 OCR 识别演示 (20:09)
生产级OCR开发实战：使用 Docker Compose 部署前后端服务 (8:35)
为什么需要注意力机制
Lesson content locked
If you're already enrolled,
you'll need to login
.
Enroll in Course to Unlock