LLM开发工程师入行实战–从0到1开发轻量化私有大模型

你将学到

深入大模型技术及其原理
构建高质量训练数据集
收获大模型开发落地方案
进阶大模型性能优化技能
具备轻量大模型开发经验
灵活应对大模型微调需求

课程目录

第1章 LLM大模型工程师入门实战–课程导学
1 节｜7分钟
展开
视频：
1-1 LLM开发工程师入门实战-课程导学
试看
06:47
第2章 千里之行，始于足下：初识大语言模型
7 节｜33分钟
收起
视频：
2-1 开启你的AI智慧之旅-本章导学
03:08
视频：
2-2 开启你的AI智慧之旅-初识大语言模型
04:37
视频：
2-3 开启你的AI智慧之旅-大语言模型擅长的事儿
05:28
视频：
2-4 开启你的AI智慧之旅-大语言模型的诞生过程
05:32
视频：
2-5 开启你的AI智慧之旅-从0到1构建大语言模型的意义
试看
04:12
视频：
2-6 开启你的AI智慧之旅-大语言模型的局限性与挑战
06:38
视频：
2-7 开启你的AI智慧之旅-大语言模型的未来展望
02:50
第3章 工欲善其事，必先利其器：开发环境的搭建
12 节｜97分钟
收起
视频：
3-1 开发环境搭建-导学
试看
04:43
视频：
3-2 开发环境搭建-MiniConda安装与使用
10:08
视频：
3-3 开发环境搭建-使用pip命令安装依赖包
11:08
视频：
3-4 开发环境搭建-VsCode的配置
07:47
视频：
3-5 开发环境搭建-手攒超级计算机-硬件(自己够买硬件者选看)
10:43
视频：
3-6 开发环境搭建-Nvidia与CUDA关系及Linux下Nvidia驱动的安装(Linux下搭建环境者选看)
05:57
视频：
3-7 开发环境搭建-Windows下Nvidia驱动的安装(Windows下搭建环境者选看)
06:28
视频：
3-8 开发环境搭建-使用Docker搭建环境一(需要Docker搭建环境者选看)
08:17
视频：
3-9 打开发环境搭建-使用Docker搭建环境二(需要Docker搭建环境者选看)
08:26
视频：
3-10 开发环境搭建-申请阿里云的免费GPU和CPU资源(想使用阿里云服务者选看)
11:23
视频：
3-11 开发环境搭建-申请Kaggle的免费GPU和CPU资源(想使用Kaggle且有科学上网工具者选看)
06:48
视频：
3-12 开发环境搭建-申请Google的免费GPU和CPU资源(想使用Google云且有科学上网工具者选看)
04:40
第4章 牛刀小试：使用HuggingFace训练GPT-2
6 节｜55分钟
展开
视频：
4-1 使用HuggingFace训练GPT2-导学
02:48
视频：
4-2 HuggingFace简介
04:48
视频：
4-3 使用HuggingFace训练GPT2-基本步骤
12:06
视频：
4-4 使用HuggingFace训练GPT2-全流程体验（后面会详解）
13:24
视频：
4-5 使用HuggingFace训练GPT2-详解group_text的实现
12:45
视频：
4-6 使用HuggingFace训练GPT2-详解generate_text的实现
09:09
第5章 提高学习效率：驾驭LLM的对话艺术与工具 (初学AI者选看)
13 节｜98分钟
展开
视频：
5-1 提高工作效率-导学
04:16
视频：
5-2 提高工作效率工具-通义灵码与小浣熊
10:39
视频：
5-3 提高工作效率工具-Copilot
08:04
视频：
5-4 大语言模型助手-Kimi
05:53
视频：
5-5 大语言模型助手-NewBing
08:35
视频：
5-6 大语言模型助手-Gemini
06:49
视频：
5-7 大语言模型助手-Poe
08:50
视频：
5-8 大语言模型提示词(一)
07:34
视频：
5-9 大语言模型提示词(二)
06:43
视频：
5-10 大语言模型提示词(三)
10:17
视频：
5-11 大语言模型提示词(四)
05:53
视频：
5-12 大语言模型提示词(五)
09:24
视频：
5-13 本章小结
04:26
第6章 必知必会的基础知识：Python语言基础 (没有Pytorh基础者选看)
13 节｜131分钟
展开
视频：
6-1 Python语言基础知识-导学
03:46
视频：
6-2 Python语言基础知识-变量的定义与使用
10:30
视频：
6-3 Python语言基础知识-逻辑判断与优先级
15:02
视频：
6-4 Python语言基础知识-循环
11:50
视频：
6-5 Python语言基础知识-函数的定义与使用
06:36
视频：
6-6 Python语言基础知识-类与对象
11:44
视频：
6-7 Python语言基础知识-四种复合类型
15:56
视频：
6-8 Python语言基础知识-可变变量与不可变变量
05:42
视频：
6-9 Python语言基础知识-特有技术切片
10:58
视频：
6-10 Python语言基础知识-其它特有技术
07:34
视频：
6-11 Pythony语言基础知识-NumPy库的使用
16:02
视频：
6-12 Python语言基础知识-MatPlotLib库的使用
12:45
视频：
6-13 Python语言基础知识-本章小结
02:23
第7章 深度学习核心入门：洞悉AI的学习之道 (无深度学习经验者选看)
19 节｜154分钟
展开
视频：
7-1 深度学习核心入门-导学
02:04
视频：
7-2 深度学习核心入门-人工智能、机器学习与深度学习的关系
05:05
视频：
7-3 深度学习核心入门-神经元与神经网络
10:49
视频：
7-4 深度学习核心入门-监督学习与无监督学习
09:25
视频：
7-5 深度学习核心入门-数据集的划分
05:03
视频：
7-6 深度学习核心入门-过拟合、欠拟合与代价函数
10:15
视频：
7-7 深度学习核心入门-代价函数的意义
11:15
视频：
7-8 深度学习核心入门-梯度下降
11:20
视频：
7-9 深度学习核心入门-线性回归代价函数的导数
06:08
视频：
7-10 深度学习核心入门-学习率
06:07
视频：
7-11 深度学习核心入门-逻辑回归
08:05
视频：
7-12 深度学习核心入门-sigmoid激活函数
03:46
视频：
7-13 深度学习必备的基础知识-逻辑回归的代价函数
10:36
视频：
7-14 深度学习必备的基础知识-逻辑回归的梯度下降
05:15
视频：
7-15 深度学习必备的基础知识-逻辑回归代价函数关于w和b偏导后的公式证明
11:57
视频：
7-16 深度学习必备的基础知识-深度神经网络与前向传播
13:13
视频：
7-17 深度学习必备的基础知识-多种激活函数
09:35
视频：
7-18 深度学习必备的基础知识-反向传播与计算图
07:54
视频：
7-19 深度学习必备的基础知识-前向传播与反向传播的完整过程
05:26
第8章 掌握“炼丹术”：优化深度学习训练参数 (无深度学习经验者选看)
10 节｜73分钟
展开
视频：
8-1 优化深度学习训练参数-导学
04:48
视频：
8-2 深度神经网络参数优化-向量化与矩阵化
11:30
视频：
8-3 深度神经网络参数优化-L2正则化
13:30
视频：
8-4 深度神经网络参数优化-Dropout
04:14
视频：
8-5 深度神经网络参数优化-数据归一化处理
06:49
视频：
8-6 深度神经网络参数优化-初始化权重参数
04:46
视频：
8-7 深度神经网络参数优化-全批量梯度下降
05:01
视频：
8-8 深度神经网络参数优化-随机梯度下降与小批量梯度下降
04:42
视频：
8-9 深度神经网络参数优化-梯度参数调优
07:39
视频：
8-10 深度神经网络参数优化-BatchNormalization
09:45
第9章 【实战】手写字识别：第一个AI模型诞生记 (无深度学习经验者选看)
10 节｜66分钟
展开
视频：
9-1 [实战]手写字识别-导学
02:26
视频：
9-2 [实战]手写字识别- Pytorch的一点历史
02:49
视频：
9-3 [实战]手写字识别-Pytorch加载数据集
08:17
视频：
9-4 [实战]手写字识别-Pytorch导入训练数据和测试数据
06:04
视频：
9-5 [实战]手写字识别-构建手写字神经网络
07:43
视频：
9-6 [实战]手写字识别-Pytorch实现训练逻辑代码
09:41
视频：
9-7 [实战]手写字识别-Pytorch实现评估神经逻辑代码
06:26
视频：
9-8 [实战]手写字识别-Pytorch训练和评估神经网络
04:37
视频：
9-9 [实战]手写字识别-模型的保存部署与使用
08:42
视频：
9-10 [实战]手写字识别-训练参数调优
09:08
第10章 【实战】数据爬取与清洗：为大模型“备粮草”
10 节｜70分钟
展开
视频：
10-1 [实战]数据与爬虫-导学
03:24
视频：
10-2 [实战]数据与爬虫-大语言模型的食谱
11:36
视频：
10-3 [实战]数据与爬虫-实现网络爬虫（一）
04:35
视频：
10-4 [实战]数据与爬虫-实现网络爬虫（二）
05:52
视频：
10-5 [实战]数据与爬虫-实现网络爬虫（三）
12:38
视频：
10-6 [实战]数据与爬虫-实现网络爬虫（四）
10:42
视频：
10-7 [实战]数据与爬虫-清洗数据（一）
03:52
视频：
10-8 [实战]数据与爬虫-清洗数据（二）
05:33
视频：
10-9 [实战]数据与爬虫-清洗数据（三）
07:21
视频：
10-10 [实战]数据与爬虫-小结
03:30
第11章 让机器读懂文本：文本与分词艺术
12 节｜96分钟
展开
视频：
11-1 文本与分词艺术-导学
05:37
视频：
11-2 文本与分词艺术-文本向量化的完整过程
06:59
视频：
11-3 文本与分词艺术-文本分词
11:41
视频：
11-4 文本与分词艺术-构造文本字典
09:25
视频：
11-5 文本与分词艺术-实现Tokenizer类
08:09
视频：
11-6 文本与分词艺术-文本转TokenID
09:57
视频：
11-7 文本与分词艺术-TokenID转文本
06:37
视频：
11-8 文本与分词艺术-基于统计的分词技术
09:11
视频：
11-9 文本与分词艺术-GPT-tiktoken分词器
07:27
视频：
11-10 文本与分词艺术-文本向量化(Embedding)
08:07
视频：
11-11 文本与分词艺术-实战TokenID转向量
08:50
视频：
11-12 文本与分词艺术-本章小结
03:10
第12章 画龙点睛：注意力机制的奥秘
9 节｜64分钟
展开
视频：
12-1 注意力机制-导学
02:36
视频：
12-2 注意力机制-什么是注意力机制
07:02
视频：
12-3 注意力机制-三个关键元素QKV
06:54
视频：
12-4 注意力机制-注意力机制与自注意力机制的区别
02:46
视频：
12-5 注意力机制-注意力分数
03:06
视频：
12-6 注意力机制-缩放因子
08:38
视频：
12-7 注意力机制-实现注意力机制的具体过程
09:16
视频：
12-8 注意力机制-注意力机制的矩阵化
05:07
视频：
12-9 注意力机制-代码实现
18:03
第13章 石破天惊：Transformer架构的革命
7 节｜59分钟
展开
视频：
13-1 Transformer架构-Transformer整体结构
11:08
视频：
13-2 Transformer架构-词嵌入(Embedding)
05:57
视频：
13-3 Transformer架构-位置编码
12:47
视频：
13-4 Transformer架构-多头注意力机制
04:46
视频：
13-5 Transformer架构-编解码器中的残差网络与层归一化
08:38
视频：
13-6 Transformer架构-掩码注意力机制
10:02
视频：
13-7 Transformer架构-解码器
05:41
第14章 麻雀虽小，五脏俱全：实现‘迷你’版大语言模型
27 节｜297分钟
展开
视频：
14-1 迷你GPT-导学
03:30
视频：
14-2 迷你GPT-GPT架构
08:33
视频：
14-3 迷你GPT-GPT中的位置编码
06:30
视频：
14-4 迷你GPT-实现GPT骨架(一)
16:26
视频：
14-5 实现GPT-迷你GPT骨架(二)
13:41
视频：
14-6 迷你GPT-实现自注意力机制(一)
14:30
视频：
14-7 迷你GPT-实现自注意力机制(二)
05:54
视频：
14-8 迷你GPT-实现掩码注意力机制(一)
11:44
视频：
14-9 迷你GPT-实现掩码注意力机制(二)
10:58
视频：
14-10 迷你GPT-实现多头注意力机制
12:34
视频：
14-11 迷你GPT-实现层归一化
09:28
视频：
14-12 迷你GPT-实现GELU激活函数与前馈网络
11:00
视频：
14-13 迷你GPT-残差与TransformerBlock
10:56
视频：
14-14 迷你GPT-测试GPTModel
07:09
视频：
14-15 迷你GPT-生成文本(一)
08:19
视频：
14-16 迷你GPT-生成文本(二)
07:34
视频：
14-17 迷你GPT-生成文本(三)
08:47
视频：
14-18 迷你GPT-文本评估
13:20
视频：
14-19 迷你GPT-交叉熵损失函数
10:06
视频：
14-20 迷你GPT-创建并加载数据集(一)
16:18
视频：
14-21 迷你GPT-创建并加载数据集（二）
15:26
视频：
14-22 迷你GPT-实现模型
10:44
视频：
14-23 -迷你GPT-评估模型
15:00
视频：
14-24 迷你GPT-开始训练
15:23
视频：
14-25 迷你GPT-优化输出(一)
12:04
视频：
14-26 迷你GPT-优化输出(二)
10:43
视频：
14-27 迷你GPT-保存并加载训练好的模型
10:23
第15章 模型微调与文本分类：让通用模型变身专家
14 节｜148分钟
展开
视频：
15-1 微调模型-导学
03:57
视频：
15-2 微调模型-获得高质量的训练数据
17:08
视频：
15-3 微调模型-构造Dataset
05:44
视频：
15-4 微调模型-创建DataLoader(一)
09:31
视频：
15-5 微调模型-创建Dataloader(二)
19:18
视频：
15-6 微调模型-加载GPT2预训练模型(一)
09:52
视频：
15-7 微调模型-加载GPT2预训练模型(二)
12:31
视频：
15-8 微调模型-指令微调(一)
04:50
视频：
15-9 微调模型-指令微调(二)
18:11
视频：
15-10 微调模型-绘制损失趋势图
05:45
视频：
15-11 微调模型-为模型评分(一)
08:01
视频：
15-12 微调模型-为模型评分(二)
13:20
视频：
15-13 微调模型-LoRA(一)
14:20
视频：
15-14 微调模型-LoRA(二)
04:51
第16章 知识蒸馏：智慧的浓缩与传承
6 节｜83分钟
展开
视频：
16-1 知识蒸馏-导学
09:02
视频：
16-2 知识蒸馏-获取思维链蒸馏数据(一)
11:17
视频：
16-3 知识蒸馏-获取思维链蒸馏数据(二)
10:06
视频：
16-4 知识蒸馏-清洗错误数据
07:44
视频：
16-5 知识蒸馏-黑盒思维链蒸馏
22:17
视频：
16-6 知识蒸馏-白盒知识蒸馏
22:07
第17章 减少模型幻觉：为LLM插上RAG的“记忆”之翼
4 节｜40分钟
展开
视频：
17-1 减少模型幻觉-RAG技术导学
05:36
视频：
17-2 减少模型幻觉-RAG工作原理
13:00
视频：
17-3 减少模型幻觉-RAG实现(一)
05:13
视频：
17-4 减少模型幻觉-RAG实现(二)
16:06
第18章 Agent与MCP：从语言到行动的终极进化
8 节｜86分钟
展开
视频：
18-1 Agent与MCP-导学
03:54
视频：
18-2 Agent与MCP-Agent工作原理
07:45
视频：
18-3 Agent与MCP-Agent常见模式
12:44
视频：
18-4 Agent与MCP-Agent调用工具(一)
10:34
视频：
18-5 Agent与MCP-Agent调用工具(二)
06:52
视频：
18-6 Agent与MCP-Agent调用工具(三)
12:12
视频：
18-7 Agent与MCP-记忆与上下文工程
15:52
视频：
18-8 Agent与MCP-实现一个Agent
15:32
第19章 LLM大模型工程师入门实战–课程总结
1 节｜7分钟
展开
视频：
19-1 课程总结
06:38

本课程已完结