Autoplay
Autocomplete
Previous Lesson
Complete and Continue
多模态大模型 前沿算法与实战应用（图文与视频理解）
多模态大模型：图文与视频理解
课程简介 (1:18)
移动端学习指南（Teachable App）
通过淘宝或微信小店购买
课程资源中心
精品课程专享Discord频道/微信群入口
第一章 多模态大模型全景：结构、数据、训练、推理与评测
多模态大模型是什么——从外挂到统一的演进逻辑 (14:28)
一个多模态大模型由什么组成：三件套结构与选型差异 (14:51)
模型的能力从哪来：数据配方如何塑造强项与短板 (13:48)
模型是怎么训出来的：从对齐预训练到 RL 后训练的完整流水线 (13:55)
会思考的多模态模型：从文字思维链到边看边想 (13:30)
怎么衡量一个多模态模型：评测维度与幻觉 (10:38)
第二章 视觉编码器：从 CLIP、SigLIP、DINOv2 到 Encoder-free
OpenAI CLIP：为什么多模态的一切从它开始？ (10:58)
SigLIP：sigmoid 为什么赢了 softmax ？ (12:10)
DINOv2：从自蒸馏到双教师蒸馏的组合演进 (11:22)
分辨率革命：动态切块与原生分辨率两条路线 (14:41)
大模型还需要“眼睛”吗：Encoder-free 之争 (11:40)
第三章 投影器 Projector 与视觉 Token：连接、计算与压缩
Q-Former、MLP、交叉注意力：连接器三条路线怎么选？ (9:07)
视觉 Token 如何计算：单图、视频与上下文占用 (9:00)
视觉 Token 怎么省：从固定下采样到 OCR 光学压缩 (12:51)
第四章 LLaVA多模态系列算法实战解析
LLaVA系列学习指南与课程内容速览 (4:15)
LLaVA简介与视觉指令数据生成的原理 (8:35)
LLaVA基于视觉指令数据进行模型微调的原理 (10:04)
LLaVA 1.5探索视觉指令微调与高分辨率扩展 (11:48)
LLaVA 1.6从高分辨率输入到高效部署 (6:18)
LLaVA-NeXT Stronger更强的LLM与全面评估集LLaVA-Bench (7:15)
LLaVA-NeXT全面的消融研究与综合分析 (14:49)
LLaVA-NeXT-Interleave核心原理与架构解析 (11:46)
第五章 实战项目1：LLaVA多模态模型全流程实战
LLaVA实战项目资料
LLaVA环境配置与模型下载 (11:20)
LLaVA在五种场景下的模型部署与推理 (20:03)
基于Transformers进行LLaVA案例实践 (13:54)
Transformers框架下LLaVA推理核心源码解析 (16:18)
使用LMDeploy部署模型并访问API服务 (8:56)
基于LMDeploy的Pipeline接口进行推理 (12:04)
基于自定数据集进行LLaVA模型预训练实战 (25:27)
基于LoRA和QLoRA进行LLaVA模型微调 (18:59)
基于合并的模型进行服务部署 (5:26)
在常见基准和LLaVA-Bench上进行LLaVA模型评测 (24:04)
LLaVA推理核心源码Debug深入讲解(上) (20:15)
LLaVA推理核心源码Debug深入讲解(中) (17:36)
LLaVA推理核心源码Debug深入讲解(下) (19:40)
LLaVA模型LoRA微调核心源码Debug深入讲解 (23:46)
第六章 实战项目2：LLaVA-NeXT 多模态核心技术实战
LLaVA-NeXT实战项目资料
LLaVA-NeXT 环境配置 模型下载 模型推理实践 (13:18)
LLaVA-NeXT 模型推理核心代码Debug深入讲解 (30:53)
LLaVA-NeXT 基于SGLang框架进行API模型服务部署与推理 (14:12)
LLaVA-NeXT 基于SGLang模型部署以及异步和同步并发请求测试 (13:37)
LLaVA-NeXT 基于SGLang Runtime加载模型并进行推理 (10:38)
LLaVA-NeXT 基于Gradio进行多模态问答交互与核心源码Debug深入讲解(上) (22:48)
LLaVA-NeXT 基于Gradio进行多模态问答交互与核心源码Debug深入讲解(下) (21:23)
LLaVA-NeXT-Interleave-Bench 多模态模型评估实践 (14:15)
LLaVA-NeXT-Interleave-Bench 模型评估核心源码Debug深入讲解(上) (21:42)
LLaVA-NeXT-Interleave-Bench 模型评估核心源码Debug深入讲解(下) (10:02)
第七章 阿里多模态系列核心技术与算法解析
阿里多模态 思维导图
阿里多模态项目 学前导览 (8:13)
多模态mPLUG算法原理剖析(上) (14:22)
多模态mPLUG算法原理剖析(下) (14:44)
多模态 mPLUG-2 算法原理剖析 (21:54)
多模态 mPLUG-Owl 核心算法原理剖析 (11:05)
多模态 mPLUG-Owl-2 核心算法原理剖析 (14:30)
多模态 Qwen-VL 核心算法原理剖析 (24:43)
多模态 UReader 核心算法原理剖析 (21:00)
多模态 mPLUG-DocOwl 核心算法原理剖析 (6:21)
多模态 mPLUG-DocOwl-1.5核心算法原理剖析 (17:17)
多模态 mPLUG-PaperOwl 核心算法原理剖析 (12:16)
多模态 mPLUG-TinyChart 核心算法原理剖析 (10:06)
第八章 实战项目3：Qwen-VL项目全流程实战
通义千问Qwen-VL实战项目资料
通义千问 Qwen-VL 项目实战简介 (7:10)
项目环境配置与模型下载 (11:50)
基于Transformers框架进行模型推理 (11:23)
基于Gradio进行Web QA交互 (9:39)
Qwen-VL 模型推理核心源码进行讲解(上) (16:47)
Qwen-VL 模型推理核心源码进行讲解(下) (15:45)
适配OpenAI API接口 启动API服务并测试 (14:55)
使用LMDeploy CLI启动API服务并实现访问 (12:32)
LMDeploy使用Docker部署模型API服务 (10:01)
基于指标QPS比较Transformers和LMDeploy两种部署方案 (22:50)
Qwen-VL 多模态模型微调实战(上) (15:52)
Qwen-VL 多模态模型微调实战(下) (14:17)
Qwen-VL 模型微调核心源码讲解 (26:01)
Qwen-VL 模型在多个基准数据集上进行评估实战 (20:12)
Qwen-VL 模型评估核心源码讲解(上) (24:29)
Qwen-VL模型评估核心源码讲解(下) (27:28)
第九章 IXC多模态技术原理与深度剖析
XComposer 学前导览 (3:50)
XComposer-1.0算法深度剖析与原理讲解 (16:17)
XComposer 2.0 算法进阶解析与核心原理 (15:01)
XComposer 2.0 4KHD 算法原理深入讲解 (15:00)
XComposer 2.0 4KHD高清图像动态分割算法的Python实现 (13:02)
XComposer 2.5 新版算法原理详解 (12:46)
第十章 实战项目4：IXC多模态项目深度实战演练
IXC多模态实战项目资料
IXC项目简介与环境配置：模型下载指南 (9:40)
使用Transformers实现多模态模型推理 (12:36)
通过Gradio构建多模态Web交互问答系统 (9:04)
深入解析推理核心源码(上) (14:51)
深入解析推理核心源码(下) (17:54)
利用LMDeploy pipeline实现四种场景下的模型推理 (14:12)
使用OpenAI集成VLM服务并进行API服务测试 (10:04)
基于LMDeploy和Docker容器化部署模型并测试API服务 (10:32)
通过LMDeploy加载4-bit量化模型进行推理 (7:51)
调用OpenAI API生成自定义多模态数据集(上) (11:11)
调用OpenAI API生成自定义多模态数据集(中) (10:46)
调用OpenAI API生成自定义多模态数据集(下) (11:23)
使用自定义数据集进行多模态模型LoRA微调实战 (9:01)
将LoRA权重与原模型合并后进行服务部署并测试 (10:02)
XComposer核心源码Debug深入剖析（第一部分） (19:30)
XComposer核心源码Debug深入剖析（第二部分） (24:13)
XComposer核心源码Debug深入剖析（第三部分） (11:21)
XComposer核心源码Debug深入剖析（第四部分） (26:33)
第十一章 实战项目5 : 长视频理解 TimeSearch-R 算法原理与项目实战
长视频理解 TimeSearch-R : 自适应 Temporal Search + 自验证强化学习 (18:15)
长视频理解落地指南：TimeSearch-R 推理 + 检索服务部署全流程 (30:36)
TimeSearch-R 端到端训练实战（上）：SFT 打底 + GRPO-CSV 强化学习进阶 (16:32)
TimeSearch-R 端到端训练实战（下）：SFT 打底 + GRPO-CSV 强化学习进阶 (8:41)
第十二章 阿里 Qwen3-VL 原理详解与项目实战
Qwen3-VL：突破多模态长上下文与视觉推理的架构革新 (9:23)
RoPE 原理概述与频谱偏见 (9:49)
深入理解交错式 MRoPE 位置编码策略 (15:35)
DeepStack 从浅层到深层的视觉特征融合 (9:26)
基于文本的显示时间戳 (5:45)
视觉 System 2 慢思考 (8:57)
Qwen3-VL 项目概览、架构与 Web 服务 Docker 部署 (11:39)
Qwen3-VL 环境配置+Transformers / vLLM 推理部署 (13:28)
Qwen3-VL 微调数据集准备 (9:57)
Qwen3-VL 微调训练与模型评估实战 (14:54)
前沿专题｜2025–2026 多模态 VLM 前沿技术主线：从视觉前端到多模态 RAG
旗舰 VLM 技术报告怎么看？架构、数据、训练与评测全景 (13:12)
视觉编码器路线演进：SigLIP、DINOv2 与 Encoder-Free 之争 (12:17)
视觉 Tokenizer 与细粒度对齐：从信息容量到视觉语义对齐 (11:59)
多模态推理新范式：GRPO、视觉一致性奖励与交错图文 CoT (13:16)
视频 MLLM 三件套：时空架构、流式理解与视频 RL (12:59)
多模态 RAG：多源、多粒度检索与长上下文协同 (15:16)
本章测验
DINOv2：从自蒸馏到双教师蒸馏的组合演进
Lesson content locked
If you're already enrolled,
you'll need to login
.
Enroll in Course to Unlock