未记录事实核验 · 状态：维护中

记录仅说明核验时间与维护状态，不保证适用于所有环境；使用前请留意正文中的版本、适用条件与风险提示。

🐘 Hadoop概念与生态 - 大数据时代的基石

🌍 什么是大数据？

大数据的4V特征

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
mindmap
  root((大数据4V))
    Volume 体量
      PB级别数据
      TB级别数据
      海量日志文件
      大规模用户数据
    Velocity 速度
      实时流数据
      毫秒级响应
      在线交易
      传感器数据
    Variety 多样性
      结构化数据
      半结构化数据
      非结构化数据
      多媒体文件
    Veracity 真实性
      数据质量保证
      数据清洗处理
      异常检测
      可信度评估

传统数据处理vs大数据处理

维度	传统数据处理	大数据处理
数据量	GB级别	TB/PB级别
处理方式	单机集中处理	分布式并行处理
存储	关系型数据库	分布式文件系统
计算模式	批处理为主	批处理+流处理
硬件成本	高端服务器	商用服务器集群
扩展性	垂直扩展（Scale Up）	水平扩展（Scale Out）

---

🐘 Hadoop是什么？

Hadoop的核心思想

设计理念：

1. 硬件故障是常态：假设硬件一定会出故障，通过软件容错
2. 流式数据访问：一次写入，多次读取的数据访问模式
3. 大数据集：针对GB到TB级别的大数据集优化
4. 简单一致性模型：一次写入，多次读取（WORM）
5. 移动计算而非移动数据：计算程序迁移到数据所在节点

核心优势：

• ✅ 高可靠性：通过副本或纠删码提高硬件故障下的数据可恢复性，但不能保证任何故障下都不丢失数据，也不能替代独立备份
• ✅ 高扩展性：可以从几个节点扩展到几千个节点
• ✅ 高效性：并行处理，充分利用集群计算能力
• ✅ 高容错性：自动检测故障并恢复
• ✅ 成本低：使用商用硬件，而非昂贵的专用设备

---

🏗️ Hadoop核心组件

下文重点介绍HDFS、MapReduce和YARN；Hadoop Common提供它们使用的公共库与工具，也是Hadoop的核心模块。

Hadoop生态系统架构

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
flowchart TB
    classDef default fill:#FDFBF5,stroke:#6E6A60,color:#2D2A26,stroke-width:1.5px
    classDef startend fill:#2D2A26,stroke:#2D2A26,color:#FDFBF5,font-weight:bold
    classDef decision fill:#F6EAD8,stroke:#C08A1A,color:#2D2A26,font-weight:bold
    classDef hub fill:#3B5A80,stroke:#3B5A80,color:#FDFBF5,font-weight:bold
    classDef io fill:#E5EAF0,stroke:#3B5A80,color:#2D2A26
    classDef accent fill:#A6432C,stroke:#A6432C,color:#FDFBF5,font-weight:bold
    classDef storage fill:#F3EEDF,stroke:#9A9488,color:#2D2A26
    subgraph "应用层"
        A1[Hive 数据仓库]
        A2[HBase NoSQL数据库]  
        A3[Pig 数据流]
        A4[Mahout 机器学习]
        A5[Spark 内存计算]
    end
    subgraph "Hadoop核心"
        B1[MapReduce 分布式计算]
        B2[YARN 资源管理]
        B3[HDFS 分布式文件系统]
    end
    subgraph "基础设施层"
        C1[Linux操作系统]
        C2[商用硬件集群]
    end
    A1 --> B1
    A1 --> B2
    A2 --> B3
    A3 --> B1
    A4 --> B1
    A5 --> B2
    B1 --> B2
    B1 --> B3
    B2 --> B3
    B1 --> C1
    B2 --> C1  
    B3 --> C1 --> C2
    class A1,A2,A3,A4,A5,B1,B2,B3,C1,C2 default

1. HDFS - 分布式文件系统

HDFS特点：

# 1. 分布式存储
- 文件被切分成块（默认128MB）
- 块分散存储在集群的不同节点上
- 每个块有多个副本（默认3个）

# 2. 主从架构
- NameNode: 管理文件系统元数据
- DataNode: 存储实际的数据块
- SecondaryNameNode: 定期合并命名空间镜像与编辑日志，生成检查点；不是NameNode的热备节点

# 3. 一次写入，多次读取
- 不支持文件内容的任意原地随机修改；支持追加，也支持截断等受版本与接口约束的操作
- 优化了大文件的顺序读取

2. MapReduce - 分布式计算框架

以下时序图采用Hadoop 1.x的JobTracker/TaskTracker旧架构，仅用于理解任务流程；Hadoop 2.x及后续版本的MapReduce运行在YARN上，由ApplicationMaster协调任务，NodeManager管理执行容器。

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
sequenceDiagram
    participant Client as 客户端
    participant JobTracker as 任务调度器
    participant TaskTracker as 任务执行器
    participant HDFS as 分布式文件系统
    
    Client->>JobTracker: 1. 提交作业
    JobTracker->>HDFS: 2. 获取输入文件元数据与块位置信息
    JobTracker->>TaskTracker: 3. 分配Map任务
    TaskTracker->>HDFS: 4. 读取数据块
    TaskTracker->>TaskTracker: 5. 执行Map任务
    TaskTracker->>TaskTracker: 6. Map任务将中间结果写入本地磁盘
    JobTracker->>TaskTracker: 7. 分配Reduce任务
    TaskTracker->>TaskTracker: 8. Reduce任务通过Shuffle从Map执行节点拉取中间输出
    TaskTracker->>TaskTracker: 9. 执行Reduce任务
    TaskTracker->>HDFS: 10. 写入最终结果
    JobTracker->>Client: 11. 返回作业结果

3. YARN - 资源管理系统

YARN架构组件：

# ResourceManager (RM)
- 全局资源调度器
- 管理整个集群的计算资源
- 决定资源分配给哪个应用

# NodeManager (NM)  
- 单节点的资源管理
- 监控本节点的资源使用情况
- 接收ApplicationMaster的请求启动已由RM分配的Container

# ApplicationMaster (AM)
- 单个应用的资源协调器
- 向RM申请资源
- 与NM通信管理任务执行

# Container
- 资源的抽象
- 包含CPU、内存、磁盘、网络等资源
- 任务运行的环境

---

🌟 Hadoop生态系统

数据存储层

组件	用途	特点	适用场景
HDFS	分布式文件系统	高容错、高吞吐	大文件存储、批处理
HBase	NoSQL数据库	实时读写、列式存储	实时查询、随机访问
Cassandra	分布式数据库	高可用、最终一致性	高并发写入、多数据中心

数据处理层

组件	用途	特点	适用场景
MapReduce	批处理计算	可靠性高、编程简单	大数据量批处理
Spark	内存计算	速度快、支持多种计算模式	迭代计算、机器学习
Flink	流处理	低延迟、精确一次语义	实时流计算、事件处理
Storm	实时计算	实时性强、容错性好	实时分析、在线决策

数据分析层

组件	用途	特点	适用场景
Hive	数据仓库	SQL接口、元数据管理	数据分析、报表生成
Pig	数据流编程	脚本化、高级抽象	数据清洗、ETL处理
Impala	实时查询	低延迟、内存计算	交互式查询、即席分析

数据传输层

组件	用途	特点	适用场景
Kafka	消息队列	高吞吐、持久化	流数据传输、解耦
Flume	日志收集	可靠性、扩展性	日志聚合、数据采集
Sqoop	数据迁移	批量传输、增量同步	关系数据库与Hadoop互导

集群管理层

组件	用途	特点	适用场景
Ambari	集群管理	Web界面、监控告警	集群部署、运维管理
Zookeeper	协调服务	一致性、高可用	配置管理、分布式锁
Oozie	工作流调度	任务编排、依赖管理	ETL流程、定时任务

---

🎯 Hadoop典型应用场景

1. 日志分析系统

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
flowchart TD
    classDef default fill:#FDFBF5,stroke:#6E6A60,color:#2D2A26,stroke-width:1.5px
    classDef startend fill:#2D2A26,stroke:#2D2A26,color:#FDFBF5,font-weight:bold
    classDef decision fill:#F6EAD8,stroke:#C08A1A,color:#2D2A26,font-weight:bold
    classDef hub fill:#3B5A80,stroke:#3B5A80,color:#FDFBF5,font-weight:bold
    classDef io fill:#E5EAF0,stroke:#3B5A80,color:#2D2A26
    classDef accent fill:#A6432C,stroke:#A6432C,color:#FDFBF5,font-weight:bold
    classDef storage fill:#F3EEDF,stroke:#9A9488,color:#2D2A26
    A[Web服务器日志]
    B[Flume收集]
    C[HDFS存储]
    D[MapReduce处理]
    E[Hive分析]
    F[可视化报表]
    A --> B --> C
    C --> D --> E
    E --> F
    class A,B,C,D,E,F default

业务价值：

• 用户行为分析
• 系统性能监控
• 安全审计分析
• 业务趋势预测

2. 推荐系统

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
flowchart TD
    classDef default fill:#FDFBF5,stroke:#6E6A60,color:#2D2A26,stroke-width:1.5px
    classDef startend fill:#2D2A26,stroke:#2D2A26,color:#FDFBF5,font-weight:bold
    classDef decision fill:#F6EAD8,stroke:#C08A1A,color:#2D2A26,font-weight:bold
    classDef hub fill:#3B5A80,stroke:#3B5A80,color:#FDFBF5,font-weight:bold
    classDef io fill:#E5EAF0,stroke:#3B5A80,color:#2D2A26
    classDef accent fill:#A6432C,stroke:#A6432C,color:#FDFBF5,font-weight:bold
    classDef storage fill:#F3EEDF,stroke:#9A9488,color:#2D2A26
    A[用户行为数据]
    B[特征提取]
    C[商品数据]
    D[评分数据]
    E[机器学习训练]
    F[推荐模型]
    G[在线推荐服务]
    A --> B
    C --> B
    D --> B
    B --> E
    E --> F
    F --> G
    class A,B,C,D,E,F,G default

技术架构：

• HDFS存储海量用户数据
• Spark进行特征工程和模型训练
• HBase存储用户画像和推荐结果
• Kafka实时传输用户行为数据

3. 数据仓库建设

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
flowchart TB
    classDef default fill:#FDFBF5,stroke:#6E6A60,color:#2D2A26,stroke-width:1.5px
    classDef startend fill:#2D2A26,stroke:#2D2A26,color:#FDFBF5,font-weight:bold
    classDef decision fill:#F6EAD8,stroke:#C08A1A,color:#2D2A26,font-weight:bold
    classDef hub fill:#3B5A80,stroke:#3B5A80,color:#FDFBF5,font-weight:bold
    classDef io fill:#E5EAF0,stroke:#3B5A80,color:#2D2A26
    classDef accent fill:#A6432C,stroke:#A6432C,color:#FDFBF5,font-weight:bold
    classDef storage fill:#F3EEDF,stroke:#9A9488,color:#2D2A26
    subgraph "数据源"
        A1[业务数据库]
        A2[日志文件]
        A3[外部数据]
    end
    subgraph "数据接入"
        B1[Sqoop]
        B2[Flume]
        B3[Kafka]
    end
    subgraph "数据存储"
        C1[HDFS原始数据]
        C2[Hive数据仓库]
    end
    subgraph "数据处理"
        D1[MapReduce ETL]
        D2[Spark数据清洗]
    end
    subgraph "数据应用"
        E1[报表系统]
        E2[BI分析]
        E3[机器学习]
    end
    A1 --> B1 --> C1
    A2 --> B2 --> C1
    A3 --> B3 --> C1 --> D1 --> C2
    C1 --> D2 --> C2 --> E1
    C2 --> E2
    C2 --> E3
    class A1,A2,A3,B1,B2,B3,C1,C2,D1,D2,E1,E2,E3 default

---

🆚 Hadoop与传统技术对比

Hadoop vs 传统数据库

特性	Hadoop	传统RDBMS
数据模型	无模式、半结构化	结构化、固定模式
扩展方式	水平扩展（添加节点）	垂直扩展（升级硬件）
查询语言	MapReduce、HQL	SQL
事务支持	有限支持	完整ACID支持
响应时间	高延迟（分钟级）	低延迟（毫秒级）
数据量	PB级别	TB级别
成本	低（商用硬件）	高（专用硬件）

Hadoop vs 传统ETL工具

维度	Hadoop	传统ETL
处理能力	PB级别数据	GB到TB级别
处理方式	分布式并行	单机或小集群
数据格式	多样化（结构化、半结构化、非结构化）	主要是结构化数据
实时性	批处理为主，支持流处理	主要是批处理
开发复杂度	需要分布式编程思维	图形化界面配置
硬件成本	低	高

---

💡 Hadoop的优势与局限

✅ 主要优势

1. 经济高效

• 使用商用硬件，成本低廉
• 可按需增加节点进行水平扩展，但实际收益受工作负载、网络、存储与调度瓶颈影响
• 开源软件，无许可费用

2. 高可靠性

• 常见副本存储配置默认采用3副本，提高容错能力；副本不能替代独立备份，纠删码配置采用不同的冗余方式
• 自动故障检测和恢复
• 通过正确配置NameNode、ResourceManager等组件的高可用机制，可降低关键组件的单点故障风险；默认部署并不自动消除所有单点故障

3. 高扩展性

• 从几个节点扩展到几千个节点
• 增加节点通常能提升存储和计算能力，但不保证性能线性增长
• 动态添加/删除节点

4. 灵活性强

• 支持多种数据格式
• 无固定数据模式约束
• 丰富的生态系统组件

⚠️ 主要局限

1. 不适合小数据

• 启动开销大，小数据集不经济
• 常见默认块大小为128MB，可配置，并非文件或块的最小大小；小文件会增加元数据与任务调度开销，存储效率较低

2. 不适合实时处理

• MapReduce延迟较高（分钟级）
• 适合批处理，不适合交互式查询

3. 不适合频繁更新

• HDFS不支持随机写入
• 一次写入，多次读取的模式

4. 学习曲线陡峭

• 需要分布式编程思维
• 运维复杂度较高

---

🏢 Hadoop企业应用案例

成功案例分享

行业应用分布

行业	主要应用	技术特点	业务价值
电商零售	推荐系统、用户画像	实时+批处理、机器学习	提升转化率、个性化服务
金融保险	风控分析、反欺诈	高可靠性、实时监控	降低风险、合规要求
电信运营商	网络优化、客户流失预测	大数据量、流处理	提升服务质量、降低流失
制造业	设备监控、供应链优化	IoT数据、预测分析	降低成本、提升效率

---

🔮 Hadoop发展趋势

技术演进方向

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
timeline
    title Hadoop发展历程
    2006年 : Hadoop诞生
           : HDFS + MapReduce
           : Yahoo主导开发
    2013年 : Hadoop 2.0
           : 引入YARN
           : 资源管理分离
    2017年 : Hadoop 3.0
           : 纠删码技术
           : 性能优化
    2020年+ : 云原生时代
            : 容器化部署
            : 与云服务集成
            : AI/ML一体化

现代大数据架构趋势

1. 云原生化

• Kubernetes部署
• 容器化运行
• 服务网格集成

2. 湖仓一体

• 数据湖 + 数据仓库融合
• Delta Lake、Iceberg等技术
• ACID事务支持

3. 流批一体

• 统一的流批处理引擎
• Flink 和 Spark Streaming
• 实时+批处理混合架构

4. AI/ML集成

• 特征工程自动化
• 模型训练平台化
• MLOps流程标准化

---

🔗 下一步学习

了解Hadoop概念后，建议继续学习：

• Hadoop环境搭建
• HDFS分布式文件系统
• MapReduce编程

---

最后更新：2024-06-29