你将获得
- 快速构建 Spark 核心知识体系
- Spark 三大计算场景案例实操
- 逐句注释的保姆级代码讲解
- 在故事中搞懂 Spark 开发实战技巧
AI 导学
在人工智能迅猛发展的今天，掌握大数据处理与分析能力已成为核心竞争力。Apache Spark 作为分布式计算领域的标杆框架，凭借其高效的内存计算、丰富的子框架支持，广泛应用于机器学习、实时计算、数据挖掘等 AI 关键场景。本课程《零基础入门 Spark》以“三步走”学习路径为核心，系统讲解 Spark 核心原理与实战技能，助你从零构建完整知识体系。
课程内容涵盖 Spark 基础编程模型、调度机制、内存与 Shuffle 管理，深入 Spark SQL、MLlib、Structured Streaming 等主流子框架，并通过“房价预测”“流动的 Word Count”“小汽车摇号分析”等真实项目实战，带你掌握特征工程、模型训练、流批处理等 AI 工程关键技能。你将学会使用 DataFrame 进行数据清洗与转换，利用 MLlib 构建机器学习流水线，通过 Structured Streaming 实现低延迟实时分析。
完成学习后，你不仅能熟练使用 Spark 进行大规模数据处理，还能胜任数据工程师、AI 算法工程师等岗位，显著提升职业竞争力，为深入人工智能领域打下坚实基础。
课程介绍
说到学习 Spark，如果你对“Spark 还有那么火吗？会不会已经过时了？”这个问题感到困惑，那大可不必。
因为经过十多年的发展，Spark 已经由当初的“大数据新秀”成长为数据应用领域的中流砥柱，早已成为各大头部互联网公司的标配。比如，字节跳动、美团、Netflix 等公司基于 Spark 构建的应用，在为公司旗下的核心产品提供服务。
这也就意味着，对于数据应用领域的任何一名工程师来说，Spark 开发都是一项必备技能。
虽然 Spark 好用，而且是大数据从业者的一门必修课，但对于入门这件事儿，却也面临着这样一些难题：
- 学习资料多且杂，自己根本就梳理不出脉络，更甭提要构建结构化的知识体系了。
- 学习 Spark，一定要先学 Scala 吗？新学一门编程语言，真不是件容易的事儿。
- Spark 的开发算子太多，记不住，来了新的业务需求，又不知道该从哪里下手。
- ……
那么，该如何解决这些问题，从而打开 Spark 应用开发的大门呢？
为此，我们邀请到了吴磊老师。他会结合自己这些年学习、应用和实战 Spark 的丰富经验，为你梳理一套零基础入门 Spark 的“三步走”方法论：熟悉 Spark 开发 API 与常用算子、吃透 Spark 核心原理、玩转 Spark 计算子框架，从而帮助你零基础上手 Spark 。
这个“三步走”方法论再配合 4 个不同场景的小项目，吴磊老师会从基本原理到项目落地，带你深入浅出玩转 Spark。
课程模块设计
结合 Spark 最常用的计算子框架，这门课设计为 4 个模块，它与“三步走”方法论的对应关系如下：
基础知识模块：从一个叫作“Word Count”的小项目开始，详细地讲解 RDD 常用算子的含义、用法与适用场景，以及 RDD 编程模型、调度系统、Shuffle 管理、内存管理等核心原理，帮你打下坚实的理论基础。
Spark SQL 模块：从“小汽车摇号”项目入手，带你熟悉 Spark SQL 开发 API，为你讲解 Spark SQL 的核心原理与优化过程，以及 Spark SQL 与数据分析有关的部分，如数据的转换、清洗、关联、分组、聚合、排序，等等。
Spark MLlib 模块：从“房价预测”这个小项目入手，带你了解 Spark 在机器学习中的应用，深入学习 Spark MLlib 丰富的特征处理函数和它支持的模型与算法，并带你了解 Spark + XGBoost 集成是如何帮助开发者应对大多数的回归与分类问题。
Structured Streaming 模块：重点讲解 Structured Streaming 是怎么同时保证语义一致性与数据一致性的，以及如何应对流处理中的数据关联，并通过 Kafka + Spark 这对“Couple”的系统集成，来演示流处理中的典型计算场景。
评论(0)