未记录事实核验 · 状态：现行内容

记录仅说明核验时间与维护状态，不保证适用于所有环境；使用前请留意正文中的版本、适用条件与风险提示。

Linux学习路线图 - 数据从业者实用指南

---

为什么数据从业者必须会 Linux

你可能会问：我是做数据分析的，为什么要学 Linux？

现实是这样的：

• 本路线以数据库和大数据组件（Hadoop、Spark、Kafka）部署在 Linux 服务器上的工作环境为学习场景；不提供运行占比统计，实际部署需以所在组织的环境为准
• 数据开发日常工作：登录跳板机 → 连接集群 → 提交作业 → 查看日志
• 数据分析师处理大文件：以 10GB 日志文件为例，简单筛选、提取和统计可尝试用少量 Shell 命令完成；是否适合 Excel、Python 或 Shell，取决于文件结构、处理任务、实现方式和机器资源
• 在本路线设定的 Linux 工作环境中，需学习运行 ETL 脚本和配置定时任务；这类任务也可在其他操作系统或托管平台上运行

---

学习路线总览

%%{init: {"theme":"base","themeVariables":{"fontFamily":"PingFang SC, -apple-system, Source Han Serif SC, serif","fontSize":"16px","background":"#FDFBF5","primaryColor":"#FDFBF5","primaryTextColor":"#2D2A26","primaryBorderColor":"#6E6A60","secondaryColor":"#E8EFE8","secondaryBorderColor":"#8FA890","secondaryTextColor":"#2D2A26","tertiaryColor":"#FDFBF5","tertiaryBorderColor":"#9A9488","tertiaryTextColor":"#6E6A60","lineColor":"#6E6A60","textColor":"#2D2A26","mainBkg":"#FDFBF5","nodeBorder":"#2D5A3D","clusterBkg":"#F3EEDF","clusterBorder":"#9A9488","edgeLabelBackground":"#FDFBF5"},"flowchart":{"htmlLabels":true,"curve":"basis","padding":20,"nodeSpacing":60,"rankSpacing":70,"useMaxWidth":false},"themeCSS":".node rect, .node polygon, .node circle { stroke-width: 1.5px; } .edgePath .path { stroke-width: 1.5px; } .cluster-label .nodeLabel, .cluster-label foreignObject { color: #2D2A26 !important; } .edgeLabel, .edgeLabel foreignObject { color: #2D2A26 !important; background-color: #FDFBF5; } .edgeLabel rect { fill: #FDFBF5; }"}}%%
graph TD
    classDef default fill:#FDFBF5,stroke:#6E6A60,color:#2D2A26,stroke-width:1.5px
    classDef startend fill:#2D2A26,stroke:#2D2A26,color:#FDFBF5,font-weight:bold
    classDef decision fill:#F6EAD8,stroke:#C08A1A,color:#2D2A26,font-weight:bold
    classDef hub fill:#3B5A80,stroke:#3B5A80,color:#FDFBF5,font-weight:bold
    classDef io fill:#E5EAF0,stroke:#3B5A80,color:#2D2A26
    classDef accent fill:#A6432C,stroke:#A6432C,color:#FDFBF5,font-weight:bold
    classDef storage fill:#F3EEDF,stroke:#9A9488,color:#2D2A26
    A[起点：会用电脑] --> B[第一阶段：基础生存技能]
    B --> C[第二阶段：文件与文本处理]
    C --> D[第三阶段：Shell 脚本自动化]
    D --> E[第四阶段：系统与网络]
    E --> F[终点：数据工作自给自足]

    B --> B1[01-Linux基础概念]
    B --> B2[02-远程连接与环境配置]
    B --> B3[03-文件系统与目录操作]

    C --> C1[04-文件查看与编辑]
    C --> C2[05-文件权限与用户管理]
    C --> C3[06-文本处理三剑客]
    C --> C4[07-管道与重定向]

    D --> D1[08-Shell脚本基础]
    D --> D2[11-定时任务crontab]

    E --> E1[09-进程与任务管理]
    E --> E2[10-网络与数据传输]
    E --> E3[12-包管理与软件安装]

    F --> F1[13-数据工作常用命令速查]
    F --> F2[14-实战场景]
    class A,B,C,D,E,F,B1,B2,B3,C1,C2,C3,C4,D1,D2,E1,E2,E3,F1,F2 default

---

各阶段详解

第一阶段：基础生存技能（第 1 周）

目标：能登录服务器，在 Linux 系统上找到文件、看文件、不迷路。

文档	核心内容	优先级
01-Linux基础概念	Linux 是什么、发行版选择、命令行思维	⭐⭐⭐ 必学
02-远程连接与环境配置	SSH 连接、终端工具、环境变量配置	⭐⭐⭐ 必学
03-文件系统与目录操作	目录结构、增删改查文件和目录	⭐⭐⭐ 必学

完成标准：能 SSH 登录服务器，在目录间导航，找到并操作指定文件。

---

第二阶段：文件与文本处理（第 2 周）

目标：处理数据文件是数据从业者的核心需求。这一阶段让你用命令行搞定各种文件处理任务。

文档	核心内容	优先级
04-文件查看与编辑	查看大文件、vim 基础、快速编辑	⭐⭐⭐ 必学
05-文件权限与用户管理	权限概念、chmod、sudo 提权	⭐⭐ 重要
06-文本处理三剑客	grep/sed/awk，数据处理核武器	⭐⭐⭐ 必学
07-管道与重定向	组合命令、输入输出重定向	⭐⭐⭐ 必学

完成标准：能用命令行处理日志文件，提取关键信息，统计数据。

---

第三阶段：Shell 脚本自动化（第 3 周）

目标：把重复的手动操作变成自动化脚本，是数据工程师的核心能力。

文档	核心内容	优先级
08-Shell脚本基础	变量、条件、循环、函数，写脚本	⭐⭐⭐ 必学
11-定时任务crontab	定时执行脚本、日志轮转	⭐⭐⭐ 必学

完成标准：能写一个能实际运行的数据处理 Shell 脚本，并设置定时执行。

---

第四阶段：系统与网络（第 4 周）

目标：任务管理、软件安装、数据传输，工作中的系统级操作。

文档	核心内容	优先级
09-进程与任务管理	查看进程、后台运行、tmux/screen	⭐⭐ 重要
10-网络与数据传输	curl/wget、scp/rsync、端口检查	⭐⭐ 重要
12-包管理与软件安装	yum/apt、pip/conda、编译安装	⭐⭐ 重要

完成标准：能在服务器上安装软件、传输文件、管理后台任务。

---

速查与实战

学完基础后，这两篇是日常工作中反复翻看的参考资料：

文档	用途
13-数据工作常用命令速查	按场景分类的命令速查表，忘了就翻
14-实战场景	完整实战案例，从日志分析到自动化脚本

---

数据工作中的 Linux 使用频率

每天都用：

• ssh 登录服务器
• cd / ls / cat 基础导航
• grep 搜索日志
• tail -f 实时查看日志
• 管道 | 组合命令

每周用几次：

• vim 编辑配置文件
• scp / rsync 传文件
• ps / top 排查进程问题
• chmod 改文件权限

偶尔用到：

• Shell 脚本（写完一次，跑很久）
• crontab 设置定时任务
• yum / apt 安装软件

---

学习建议

1. 立刻动手：每个命令都要自己敲一遍，看文档不如敲命令。

2. 在真实环境练习：

• 有公司服务器权限的，仅在明确获准的测试环境或隔离练习目录中操作；生产环境的文件删除、配置修改、软件安装和任务重跑须遵循所在组织的授权与变更流程
• 没有的，可用 Mac 自带终端练习部分 Unix 命令行基础；macOS 与 Linux 的命令实现、参数和包管理存在差异，Linux 专属操作应在 Linux 环境中练习
• 或者在本地装 VirtualBox + Ubuntu

3. 遇到不懂的命令：

# 方法一：man 命令（Manual）
man grep

# 方法二：--help 参数
grep --help

# 方法三：tldr（简洁版说明，比 man 好用）
tldr grep

4. 建立自己的命令笔记：工作中遇到的好用命令，随手记下来。

---

配套知识链接

Linux 命令行只是工具，真正的数据工作还需要：

• Python - 数据处理脚本，和 Shell 互补
• Hadoop - 大数据集群，运行在 Linux 之上
• Spark - 分布式计算，通过 Shell 提交作业
• Kafka - 消息队列，用 Shell 脚本管理 Topic
• MySQL - 数据库，Shell 脚本中调用 mysql 命令
• Hive - 数仓，通过 Shell 提交 HQL 任务

---

本系列文档索引

序号	文档	核心主题
00	00-Linux学习路线图	本文，学习导航
01	01-Linux基础概念	Linux 入门概念
02	02-远程连接与环境配置	SSH、终端工具
03	03-文件系统与目录操作	文件操作基础
04	04-文件查看与编辑	查看和编辑文件
05	05-文件权限与用户管理	权限与用户
06	06-文本处理三剑客	grep/sed/awk
07	07-管道与重定向	管道组合命令
08	08-Shell脚本基础	编写 Shell 脚本
09	09-进程与任务管理	进程管理
10	10-网络与数据传输	网络与文件传输
11	11-定时任务crontab	定时自动化
12	12-包管理与软件安装	软件安装
13	13-数据工作常用命令速查	速查手册
14	14-实战场景	综合实战案例

#Linux #Shell #数据工程 #学习路线