未记录事实核验 · 状态：维护中

记录仅说明核验时间与维护状态，不保证适用于所有环境；使用前请留意正文中的版本、适用条件与风险提示。

R语言数据处理全流程——tidyverse实战

---

一、tidyverse生态全景

tidyverse是Hadley Wickham主导设计的R包集合，核心理念是整洁数据（tidy data）：每个变量一列，每条观测一行，每个值一格。

用户数据分析的典型流程：

原始数据 → 导入(readr) → 清洗(tidyr) → 操作(dplyr) → 可视化(ggplot2)
             ↓                              ↓
         字符串(stringr)              函数式编程(purrr)

各包分工一览

包名	主要职责	典型场景
readr	数据导入	读取CSV/TSV；相对read.csv的性能需结合数据规模、字段类型和运行环境测试
dplyr	数据操作	筛选、汇总、关联——SQL的R表达
tidyr	数据重塑	宽表转长表、列分割合并
stringr	字符串处理	正则匹配、替换、截取
purrr	函数式编程	批量操作、替代for循环
lubridate	日期时间	日期解析、时间差计算
ggplot2	数据可视化	图层语法绘图（详见09-ggplot2数据可视化深度实战）
forcats	因子处理	分类变量的顺序控制

安装整个生态只需一条命令：

install.packages("tidyverse")
library(tidyverse)

---

二、管道操作符：代码逻辑的革命

2.1 传统写法 vs 管道写法

假设需要：从用户表中找出30岁以上的活跃用户，计算每个城市的平均消费，按消费降序排列，取前10名。

传统嵌套写法（从内到外读，反人类）：

head(
  arrange(
    summarise(
      group_by(
        filter(users, age > 30, status == "active"),
        city
      ),
      avg_spend = mean(total_spend)
    ),
    desc(avg_spend)
  ),
  10
)

管道写法（从上到下读，如叙事）：

users %>%
  filter(age > 30, status == "active") %>%
  group_by(city) %>%
  summarise(avg_spend = mean(total_spend)) %>%
  arrange(desc(avg_spend)) %>%
  head(10)

R 4.1+原生管道符|>与%>%行为基本一致，新代码推荐用原生管道：

# 原生管道（无需加载magrittr包）
users |>
  filter(age > 30) |>
  summarise(n = n())

---

三、dplyr六大核心动词

3.1 filter — 行筛选

library(dplyr)

# 模拟电商用户数据
users <- tibble(
  user_id = 1:1000,
  age = sample(18:60, 1000, replace = TRUE),
  city = sample(c("北京","上海","广州","深圳","杭州"), 1000, replace = TRUE),
  status = sample(c("active","inactive"), 1000, replace = TRUE, prob = c(0.7, 0.3)),
  total_spend = round(runif(1000, 100, 50000), 2),
  register_date = sample(seq(as.Date("2020-01-01"), as.Date("2024-12-31"), by = "day"), 1000, replace = TRUE)
)

# 单条件筛选
active_users <- users %>% filter(status == "active")

# 多条件组合（AND逻辑）
target_users <- users %>%
  filter(age >= 25, age <= 40, city %in% c("北京", "上海"))

# OR逻辑用 | 符号
high_value <- users %>%
  filter(total_spend > 10000 | (age < 25 & city == "上海"))

# 字符串匹配（配合stringr）
bj_users <- users %>%
  filter(str_detect(city, "北京"))

3.2 select — 列选择

# 按名称选列
users %>% select(user_id, age, city, total_spend)

# 排除某列
users %>% select(-register_date)

# 辅助函数
users %>% select(starts_with("user"))    # 以user开头
users %>% select(ends_with("_id"))       # 以_id结尾
users %>% select(contains("spend"))      # 包含spend
users %>% select(where(is.numeric))      # 所有数值列

# 重命名同时选择
users %>% select(uid = user_id, 花费 = total_spend)

3.3 mutate — 新增/修改列

users <- users %>%
  mutate(
    # 消费分级
    spend_tier = case_when(
      total_spend >= 20000 ~ "高价值",
      total_spend >= 5000  ~ "中价值",
      TRUE                 ~ "低价值"
    ),
    # 年龄分组
    age_group = cut(age, breaks = c(0, 25, 35, 45, 100),
                    labels = c("25以下", "25-35", "35-45", "45以上")),
    # 注册至今天数
    days_since_register = as.numeric(Sys.Date() - register_date),
    # 日均消费
    daily_spend = total_spend / days_since_register
  )

3.4 summarise + group_by — 分组汇总

# 分城市统计
city_stats <- users %>%
  group_by(city) %>%
  summarise(
    用户数     = n(),
    活跃用户数  = sum(status == "active"),
    活跃率     = mean(status == "active"),
    平均消费   = mean(total_spend),
    中位数消费  = median(total_spend),
    消费总额   = sum(total_spend),
    .groups = "drop"  # 汇总后取消分组，避免后续操作产生意外
  )

# 多维分组
users %>%
  group_by(city, spend_tier) %>%
  summarise(n = n(), avg_age = mean(age), .groups = "drop") %>%
  arrange(city, desc(n))

3.5 arrange — 排序

# 单列排序（默认升序）
users %>% arrange(total_spend)

# 降序
users %>% arrange(desc(total_spend))

# 多列排序
users %>% arrange(city, desc(total_spend))

3.6 join — 表关联

# 模拟订单表
orders <- tibble(
  user_id = sample(1:1000, 5000, replace = TRUE),
  order_id = 1:5000,
  product = sample(c("手机","电脑","耳机","平板"), 5000, replace = TRUE),
  amount = round(runif(5000, 50, 5000), 2),
  order_date = sample(seq(as.Date("2024-01-01"), as.Date("2024-12-31"), by = "day"), 5000, replace = TRUE)
)

# left_join：保留左表所有行
user_orders <- users %>%
  left_join(orders, by = "user_id")

# 统计每个用户的订单数量（体现group_by + summarise的实际场景）
order_stats <- orders %>%
  group_by(user_id) %>%
  summarise(
    order_count = n(),
    total_amount = sum(amount),
    last_order_date = max(order_date),
    .groups = "drop"
  ) %>%
  right_join(users %>% select(user_id, city, age), by = "user_id") %>%
  replace_na(list(order_count = 0, total_amount = 0))  # 未购买用户填0

---

四、tidyr数据重塑

现实数据经常是"宽表"格式（每个时间点一列），但分析需要"长表"（时间作为一列）。

4.1 pivot_longer — 宽表转长表

# 典型场景：月度销售宽表
monthly_sales <- tibble(
  city = c("北京","上海","广州"),
  `2024-01` = c(100, 120, 80),
  `2024-02` = c(110, 130, 90),
  `2024-03` = c(105, 125, 95)
)

# 转为长表（适合ggplot2绘图）
sales_long <- monthly_sales %>%
  pivot_longer(
    cols = starts_with("2024"),  # 要转换的列
    names_to = "month",          # 原列名变为新列的列名
    values_to = "sales"          # 原值变为新列的列名
  )

# 结果：
# city    month    sales
# 北京    2024-01  100
# 北京    2024-02  110
# ...

4.2 pivot_wider — 长表转宽表

# 长表转宽表（适合做交叉报表）
sales_wide <- sales_long %>%
  pivot_wider(
    names_from = month,
    values_from = sales,
    names_prefix = "sales_"  # 列名加前缀避免以数字开头
  )

4.3 separate 与 unite

# separate：拆分列（如将"2024-01"拆成year和month）
sales_long %>%
  separate(month, into = c("year", "month_num"), sep = "-")

# unite：合并列
users %>%
  unite("city_tier", city, spend_tier, sep = "_")

---

五、data.table vs dplyr 性能对比

维度	dplyr	data.table
语法风格	动词链式，易读	类SQL，简洁但学习曲线陡
性能（百万行）	取决于操作和运行环境	主要使用C实现；相对性能需按具体任务测试
内存效率	会复制数据	原地修改，内存友好
生态整合	tidyverse全家桶，ggplot2无缝衔接	独立生态
适合场景	日常分析与tidyverse工作流；数据规模边界需按任务测试	需要评估原地修改、内存使用及处理性能的任务；是否更优需按任务测试

选型示例：可将500万行以内使用dplyr、超过1000万行评估data.table或arrow作为待测试的初始假设，而非通用阈值；实际选型还取决于数据宽度、操作类型、可用内存和存储方式。

# dtplyr包：用dplyr语法，data.table执行引擎
library(dtplyr)

# 对dtplyr支持的操作，可用lazy_dt()接入data.table执行引擎；其他写法需检查翻译支持情况
result <- lazy_dt(users) %>%
  filter(status == "active") %>%
  group_by(city) %>%
  summarise(avg_spend = mean(total_spend)) %>%
  as_tibble()  # 最后转回tibble

---

六、大数据场景：突破R的内存限制

常规R内存数据框操作需要将数据载入内存；当数据及计算中间结果超出可用内存时，可能出现分配失败、性能显著下降或进程终止。

6.1 arrow包：列式存储的救星

library(arrow)

# 读取Parquet文件（不全量加载到内存）
ds <- open_dataset("data/orders/", format = "parquet")

# 用dplyr语法操作（惰性计算，只在collect()时真正执行）
result <- ds %>%
  filter(order_date >= "2024-01-01") %>%
  group_by(city) %>%
  summarise(total = sum(amount)) %>%
  collect()  # 只把结果（小表）拉入内存

6.2 DBI + SQL：连接数据库操作

library(DBI)
library(RMySQL)  # 或 RSQLite / RPostgres

# 建立连接
con <- dbConnect(RMySQL::MySQL(),
  host = "localhost", dbname = "ecommerce",
  user = "analyst", password = "****"
)

# 方法1：直接写SQL
result <- dbGetQuery(con, "
  SELECT city, AVG(total_spend) as avg_spend
  FROM users
  WHERE status = 'active'
  GROUP BY city
")

# 方法2：dplyr语法（dbplyr包自动翻译为SQL）
library(dbplyr)
users_db <- tbl(con, "users")  # 创建数据库表的引用

users_db %>%
  filter(status == "active") %>%
  group_by(city) %>%
  summarise(avg_spend = mean(total_spend)) %>%
  show_query()  # 查看生成的SQL
  # collect()   # 真正执行并拉取结果

dbDisconnect(con)

6.3 furrr：并行计算加速

library(furrr)
plan(multisession, workers = 4)  # 使用4个CPU核心

# 并行处理多个数据文件
results <- future_map(
  list.files("data/", pattern = "*.csv", full.names = TRUE),
  ~ read_csv(.x) %>%
    filter(amount > 0) %>%
    summarise(total = sum(amount))
)

---

七、实战综合案例：用户RFM分析

RFM（Recency/Frequency/Monetary）是电商运营的经典分析框架，完整展示tidyverse的协同作战：

library(tidyverse)
library(lubridate)

# 假设orders表已经加载
analysis_date <- as.Date("2025-01-01")

rfm_scores <- orders %>%
  group_by(user_id) %>%
  summarise(
    R = as.numeric(analysis_date - max(order_date)),  # 最近购买距analysis_date的天数
    F = n(),                                            # 购买频次
    M = sum(amount),                                   # 累计消费金额
    .groups = "drop"
  ) %>%
  mutate(
    # 用ntile函数分成5档（1=最差，5=最好）
    R_score = 6 - ntile(R, 5),  # R越小越好，所以取反
    F_score = ntile(F, 5),
    M_score = ntile(M, 5),
    # 综合RFM得分
    rfm_total = R_score * 100 + F_score * 10 + M_score,
    # 用户分层
    segment = case_when(
      R_score >= 4 & F_score >= 4 & M_score >= 4 ~ "冠军客户",
      R_score >= 4 & F_score >= 4               ~ "忠实客户",
      R_score >= 4                              ~ "近期购买客户",
      R_score <= 2 & F_score >= 4               ~ "需要唤回",
      R_score <= 2 & F_score <= 2               ~ "低近期度低频客户",
      TRUE                                      ~ "一般客户"
    )
  )

# 分层结果汇总
rfm_scores %>%
  group_by(segment) %>%
  summarise(
    用户数 = n(),
    占比   = scales::percent(n() / nrow(rfm_scores)),
    平均R  = round(mean(R)),
    平均F  = round(mean(F), 1),
    平均M  = round(mean(M))
  ) %>%
  arrange(desc(用户数))

---

八、快速参考：常用操作速查表

# === 数据检查 ===
glimpse(df)          # 快速查看结构
skimr::skim(df)      # 全面的描述性统计
naniar::miss_var_summary(df)  # 缺失值分析

# === 常见dplyr技巧 ===
df %>% distinct(col)              # 去重
df %>% slice_max(col, n = 10)     # 最大的10行
df %>% slice_sample(n = 100)      # 随机抽样
df %>% add_count(group_col)       # 添加分组计数列（不汇总）
df %>% count(col, sort = TRUE)    # 快速频率统计
df %>% rename(new_name = old_name)  # 重命名
df %>% relocate(col, .before = other_col)  # 移动列的位置

# === purrr批量操作 ===
map(list, function)          # 返回list
map_dbl(list, function)      # 返回numeric vector
map_df(list, function)       # 返回data.frame（合并）
walk(list, function)         # 有副作用的操作（如保存文件）

---

相关文档

• 06-dplyr数据操作 — 本文的前置内容，基础动词入门
• 07-数据清洗技巧 — 缺失值、异常值处理的完整方案
• 09-ggplot2数据可视化深度实战 — tidyverse数据处理后的可视化
• 12-A/B测试与实验分析 — RFM分层后的A/B实验设计
• 待创建：R语言性能优化专题 — data.table深度使用指南