从模型架构与核心算法，到训练、评测与工程实践


图像和视频如何被模型理解？高分辨率、视觉 Token 与数据训练如何影响能力？面对文档、图表和长视频，又该怎样选择与实现合适的方案？


本课程从视觉表征与跨模态连接出发，结合代表性模型、源码解析和项目实践，逐步深入图文理解、视觉推理与长视频搜索，建立从原理分析到工程实现的完整学习路径。


🔔 如需通过淘宝或微信支付，请点此查看《通过淘宝或微信小店购买》。

 模型全景：理解能力从哪里来


从架构、数据、训练、推理与评测出发，理解多模态模型的组成与能力来源。
不只认识模型名称，更要学会分析：不同组件如何协作，数据配方如何塑造强项与短板，训练阶段为什么这样安排，以及如何判断技术报告中的能力证据。

核心机制：理解精度、

细节与成本的取舍


从 CLIP、SigLIP 与 DINO 的视觉表征，到高分辨率输入、跨模态连接与视觉 Token，逐步拆解模型“如何看见、怎样看清”。
进一步分析图像与视频的上下文占用、信息压缩和任务表现，把结构设计与实际资源预算联系起来。

模型与项目：把设计落实到

代码和运行结果


通过代表性多模态模型，连接论文原理、关键源码与工程实践。
不同项目分别展开视觉指令训练、高分辨率处理、推理服务、自定义数据、模型微调与效果评测，帮助你理解一个模型从结构设计到实际运行，需要经过哪些环节。

进阶任务与前沿专题：

把基础放进更复杂的问题


结合 Qwen3-VL、TimeSearch-R 和前沿专题，继续深入视觉特征融合、视觉推理、长视频时序搜索与强化学习，并拓展到多模态检索和长上下文协同。
将前面学到的架构、视觉表征、Token 预算与训练方法，重新放回具体任务中理解，分析不同方案解决了什么问题，又引入了哪些代价。

项目实战简介

实战项目1:

LLaVA 多模态模型全流程实战


LLaVA 是视觉指令微调领域具有代表性的开源多模态模型，通过连接视觉编码器与大语言模型，打通图像理解、语言推理与多模态对话的完整链路。
本项目以 LLaVA 为核心，系统完成从环境配置、模型下载、推理部署，到源码解析、预训练、LoRA／QLoRA 微调、模型合并与评测的全流程实战。
项目同时覆盖 Transformers 推理与 LMDeploy 服务化部署，包含 Web Demo、API 服务、Pipeline 推理、多 GPU 部署与低比特量化等典型场景；
并结合自定义数据集与源码级 Debug，深入理解 LLaVA 从模型运行、训练优化到评测上线的核心实现。


实战项目2：LLaVA-NeXT

多模态核心技术实战


LLaVA-NeXT 是 LLaVA 系列的重要升级版本，进一步增强了高分辨率图像感知、OCR 与文档理解、多图推理和视频理解能力。
本项目围绕 LLaVA-NeXT 与 LLaVA-NeXT-Interleave 展开，系统完成从环境配置、模型推理到服务部署、源码 Debug 与性能评测的完整实践。
内容覆盖 AnyRes 动态分辨率、SGLang 服务化部署、同步与异步并发推理、Gradio 多模态交互，以及统一交错数据格式、M4-Instruct 数据集与 Interleave-Bench 评测。通过源码级解析，深入理解 LLaVA-NeXT 的模型架构、推理流程、训练策略与评估体系。


实战项目3：通义千问 Qwen-VL 项目全流程实战


本项目围绕 Qwen-VL 与 Qwen-VL-Chat，系统实战从环境配置、模型下载、Transformers 推理和 Gradio 交互，到 OpenAI 兼容 API、LMDeploy 与 Docker 服务化部署的完整流程。
内容覆盖微调数据构建、全参数微调、LoRA／Q-LoRA、QPS 性能对比，以及 Caption、VQA、文档理解、图表问答与视觉定位评测。通过微调与评测源码解析，完整理解 Qwen-VL 的推理、部署、训练与验证机制。


实战项目4：IXC 多模态项目

深度实战演练


InternLM-XComposer 2.5（浦语·灵笔2.5）面向高分辨率图像理解、细粒度视频理解、多轮多图对话、网页生成与图文创作等多模态任务。本项目以 IXC 2.5 为核心，系统完成从环境配置、模型下载、Transformers 推理与 Gradio 交互，到 LMDeploy 服务化部署、OpenAI 兼容 API 与 Docker 容器化上线的完整工程流程。
项目进一步覆盖 4-bit 量化推理、自定义纯文本／单图／多图多轮微调数据构建、LoRA 微调、权重合并与合并模型部署；并通过核心源码 Debug，深入解析模型结构、推理链路与训练机制，建立从模型调用、工程部署到微调优化和源码理解的完整实践能力。


实战项目5：TimeSearch-R

长视频主动搜索与强化学习实战


TimeSearch-R 是面向长视频理解的主动时序搜索系统，通过交错式文本—视频推理，使模型能够按需检索相关时间片段，并基于多轮工具调用逐步完成视频理解与问题回答。
本项目系统覆盖 Qwen2.5-VL 模型推理、SigLIP 语义帧检索、视频帧与特征缓存、HuggingFace／vLLM 加速推理和 API 服务部署；并进一步实践 SFT 监督微调与 GRPO-CSV 强化学习，深入理解时序搜索、奖励设计及搜索策略与回答质量的联合优化机制。
从视频预处理、主动检索和模型推理，到强化学习训练与服务化部署，完整打通 TimeSearch-R 的端到端实践链路。


实战项目6：Qwen3-VL

核心原理与项目实战


Qwen3-VL 是阿里巴巴通义千问团队推出的新一代视觉语言模型，支持图像与视频理解、文档解析、OCR、目标定位和 3D 空间理解。本项目从模型架构与关键算法出发，系统打通推理部署、数据构建、微调训练与评估验证，建立从原理理解到工程落地的完整实践链路。
内容覆盖 ViT 视觉编码器、MLP 多模态投影器与 Qwen3 Backbone 的整体架构，重点解析 Interleaved-MRoPE、DeepStack 和 Text-Timestamp Alignment，并理解 Instruct 与 Thinking 两种工作模式。工程部分实战 Transformers、vLLM、Docker Web Demo 与 OpenAI 兼容 API，完成单图、多图、视频、Grounding 与多轮对话数据准备，以及全参数／LoRA 微调、DeepSpeed ZeRO 优化和 MMMU、MathVision、RealWorldQA 评估。


【前沿专题】

2025-2026 多模态 VLM 前沿技术主线

从视觉前端到多模态 RAG

本章是最新【前沿专题】系列，主要帮助大家建立 2025–2026 年多模态 VLM 的最新技术地图。内容会涉及旗舰模型技术报告、SigLIP、DINOv2、Encoder-Free、视觉 Tokenizer、细粒度对齐、GRPO、视频 MLLM 和多模态 RAG 等方向。


本章是你的“前沿技术地图”，在理解基础组件和代表性模型之后，进一步横向比较视觉表征、细粒度对齐、多模态推理、视频理解与多模态 RAG 等方向。


结合技术报告与研究问题，理解不同方法的联系、适用条件和局限，形成自己的阅读与分析框架。

课程内容概览

（请点击播放以下视频查看课程简介）

课程目录

  多模态大模型：图文与视频理解
Available in days
days after you enroll
  第一章 多模态大模型全景：结构、数据、训练、推理与评测
Available in days
days after you enroll
  第二章 视觉编码器：从 CLIP、SigLIP、DINOv2 到 Encoder-free
Available in days
days after you enroll
  第三章 投影器 Projector 与视觉 Token：连接、计算与压缩
Available in days
days after you enroll
  第四章 LLaVA多模态系列算法实战解析
Available in days
days after you enroll
  第五章 实战项目1：LLaVA多模态模型全流程实战
Available in days
days after you enroll
  第六章 实战项目2：LLaVA-NeXT 多模态核心技术实战
Available in days
days after you enroll
  第七章 阿里多模态系列核心技术与算法解析
Available in days
days after you enroll
  第八章 实战项目3：Qwen-VL项目全流程实战
Available in days
days after you enroll
  第九章 IXC多模态技术原理与深度剖析
Available in days
days after you enroll
  第十章 实战项目4：IXC多模态项目深度实战演练
Available in days
days after you enroll
  第十一章 实战项目5 : 长视频理解 TimeSearch-R 算法原理与项目实战
Available in days
days after you enroll
  第十二章 阿里 Qwen3-VL 原理详解与项目实战
Available in days
days after you enroll
  前沿专题｜2025–2026 多模态 VLM 前沿技术主线：从视觉前端到多模态 RAG
Available in days
days after you enroll

课程特色


系统化与结构化：遵循“理论基础 → 算法演进 → 项目实战 → 源码剖析”的学习闭环，构建坚实且全面的知识体系。
超强实战导向：包含多个主流多模态项目的全流程实战：多模态强化学习（RL）、多模态 RAG、多模态 Agent 等前沿多模态项目，核心代码提供中文版详解注释，助你扫清实践障碍。
独家创新内容：原创算法与工程方法：提供原创的算法 Python 实现、多场景部署方案、自动化数据集生成方法等独家内容，助你站在 AI 前沿技术浪潮之巅！
终身学习权限：课程内容永久有效，购买后即可获得本课程的【终身学习权限】，作为你的“知识宝典”，可以随时复习和回顾。

立即加入多模态大模型学习之旅！


🔔 如需通过淘宝或微信支付，请点此查看《通过淘宝或微信小店购买》。

课程配套资料


为了帮助你在学习过程中深入掌握课程内容，我精心准备了一系列配套资料。这些资料包括：
课程相关笔记文档：涵盖多模态大模型的前沿技术、视觉编码器及投影器的详细解读，帮助你加深对技术的理解。
案例实践的相关代码：提供了核心算法如 CLIP、EVA 系列模型等的实现代码，帮助你在实战中快速上手。
实战项目的代码：每个项目的完整代码，包括预训练、微调、以及多模态推理等模块，确保你能顺利完成项目实战。
多模态相关的精读论文文档：针对视觉语言模型和相关多模态技术，整理了前沿研究的精读笔记，帮助你洞悉最新技术趋势。
这些配套资料将成为你学习过程中的重要工具，帮助你更好地理解并应用课程中的核心技术与概念。


更多精品课程

学习更多大模型相关精品课程，构建更完整的大模型能力体系。

从奖励设计、信用分配到训练系统，全面掌握 Agent RL 的判断与落地方法。


一套系统化、生产级的 DeepSeek 大模型深度指南。


大语言模型 LLM 和检索增强生成 RAG

理论与实战。


常见问题


一、支持的付款方式有哪些？

本网站支持以下付款方式：

  • PayPal 付款
  • 双币种或全币种的信用卡付款
  • 通过淘宝或微信小店付款（淘宝和微信小店仅作为支付通道，课程仍在本网站学习）。

请参考《付款指南》，选择适合你的付款方式。

在淘宝或微信小店支付后，请发送订单号和用于注册学习账号的邮箱给在线客服，或通过公众号、微信 、Telegram 联系官方课程助理，我们将尽快处理你的订单并邀请你加入对应课程。（你可以提前注册账号，只需确保提供给我的邮箱与注册邮箱一致即可。点此查看《注册登陆指引》）

二、课程是否提供一对一指导？

本课程的定价仅包含：

  • 全部课程视频的终身观看权限
  • 配套资料的完整下载与后续更新

课程不包含一对一指导服务。但在时间允许的情况下，我会尽力为大家进行课程相关的问题的解答，帮助大家顺利学习。

精品课程内容经过反复打磨与完善，并配有详尽的资料，确保你高效掌握相关知识。目前已通过数百名同学的真实学习反馈，获得高度好评。

如果你在学习过程中有任何疑问，欢迎你：

  • 参与精品课程后，根据课程前面的提示，加入 Discord 专属频道或微信群，在群内提问；
  • 在对应课程视频下方评论区留言提问；
  • 登录网站后，点击右上角头像 → 选择 “Contact” 给我发送邮件。


三、与在B站学习有什么区别？

精品课程在本网站与B站课堂同步上线，课程内容本身完全一致，区别主要体现在以下几个方面：

1.功能与课程资料呈现方式不同：

官网课程资料与视频内容同步展示，可在对应章节中预览并下载使用。B站以视频播放为主，请购买后通过私信发送课程名称或截图，以便获取对应课程资料并邀请你加入我们的 AI 学习圈。

2.发票开具说明：

本网站直接购买：将会自动收到一封收据邮件，请在你的注册邮箱中查看。

通过淘宝店铺支付：如需发票请直接联系在线客服即可开具。

B站购买：订单由B站平台统一管理，如需开具发票，请在B站后台订单中申请，或联系B站客服。

⚠️温馨提示（适用于 iOS 用户）

如果你使用 iPhone 或 iPad 访问 B站并购买课程，建议使用电脑端或手机浏览器访问我的B站课堂完成课程购买，避免额外支付 iOS 端加收的30%渠道费用。

四、什么时候购买最优惠？

答案是——如果你已经决定开始学习，现在就是最合适的时机。

精品课程一次购买，终身有效。除了偶尔的粉丝回馈活动，精品课程不会参与任何限时折扣或平台促销，价格始终保持公开透明。如果未来课程内容有更新和迭代，价格也会随之逐步上调。

我希望大家把有限的时间和精力花在真正有价值的学习上，而不是计算“活动价”上；希望大家购买课程，不是因为打折，而是因为它真的能让你成长、进步、变得更强。

如果你做过对比，能够透过花哨的宣传看清楚知识的本质，你应该会知道我的精品课程的性价比。你甚至可以通过学习我分享的免费公开课，就可以学到很多在其他地方需要付费才能学到的知识。

五、我是转行过来的，听说大模型很火，学完这个课程能不能直接上手？

实事求是的说，我并不建议你直接学习我的课程。我的精品课程专为AI技术领域的专业人才设计，课程内容紧随前沿技术，具有一定深度，并不是仅凭一步步跟随操作就能学会的简单教学。非科班出身或转行学习者可能会感到吃力。如果你决心深入学习 AI 技术，我真诚的建议你花一些时间，好好梳理一下，将一些相关的基础知识先理解和掌握。只有打好基础，一步步积累，才能真正与前沿技术接轨。

六、我可以每天问很多很多的问题吗？

我非常欢迎大家积极的学习和提问，但一定要问有价值的问题。对于那些通过AI或搜索引擎即可找到答案的问题，以及可以在B站或 YouTube 等平台免费学习的基础知识，我建议你主动学习和理解，这比直接提问更为高效。主动解决问题是 AI 技术学习者的基本能力，要尽快摸索出一套适合自己的高效学习方法，这样你才能在技术这条路上越走越远。


七、听说课程永久有效、后续还会进行更新，什么时候会更新？

作为一个终身学习的技术人，所有精品课程都会随着技术的发展以及我个人的技术积累为大家适时进行更新。由于时间精力有限，我会根据技术发展的成熟度以及个人工作安排来进行更新。大家可以关注网站课程页面，Discord 社区、以及公众号、B站、YouTube 动态、邮箱推送等官方通知。