未记录事实核验 · 状态：维护中

记录仅说明核验时间与维护状态，不保证适用于所有环境；使用前请留意正文中的版本、适用条件与风险提示。

🔧 Paimon主键表管理 - 数据更新与合并机制

🎯 主键表的核心：更新与合并

主键表（Primary Key Table）是Paimon区别于传统Hive表的关键。它的核心逻辑是：基于主键（Primary Key）进行数据管理。

当一条新数据写入时，如果主键已存在，Paimon会根据配置的**合并引擎（Merge Engine）**来决定如何处理新旧数据。

---

🛠️ 数据操作详解 (CRUD)

1. 插入与更新 (Upsert)

在Paimon中，INSERT 实际上是 Upsert（Update or Insert）。

• 如果主键不存在 ➡️ INSERT
• 如果主键已存在 ➡️ UPDATE (根据Merge Engine逻辑)

-- 第一次写入：创建用户1
INSERT INTO users (id, name, age) VALUES (1, 'Alice', 18);

-- 第二次写入：更新用户1的年龄 (Upsert)
INSERT INTO users (id, name, age) VALUES (1, 'Alice', 19);

2. 显式更新 (UPDATE)

Paimon支持标准的 UPDATE 语法（在Flink 1.17+中支持完整），但这通常比 INSERT 消耗更大。

UPDATE users SET age = 20 WHERE id = 1;

3. 删除数据 (DELETE)

物理删除 vs 逻辑删除：

• DELETE 语句：向Paimon写入一条类型为 DELETE 的记录。在查询时，这条记录会过滤掉旧数据。在Compaction（合并）时，物理数据会被真正移除。

-- 删除用户1
DELETE FROM users WHERE id = 1;

---

⚙️ 深入解析 Merge Engine

Merge Engine 决定了"当主键冲突时，数据如何合并"。这是Paimon处理复杂流计算场景的神器。

1. Deduplicate (默认：去重)

逻辑：后到的数据覆盖先到的数据（Last Write Wins）。 适用：大部分业务状态更新场景。

2. Partial Update (部分更新)

逻辑：非Null的字段会更新旧值，Null字段保持旧值不变。 场景：多流拼接宽表。例如，流A只有用户基础信息，流B只有用户行为统计。

CREATE TABLE user_profile (
    user_id BIGINT PRIMARY KEY NOT ENFORCED,
    name STRING,
    age INT,
    last_visit_time TIMESTAMP(3)
) WITH (
    'merge-engine' = 'partial-update',
    'partial-update.ignore-delete' = 'true' -- 忽略DELETE消息，防止误删
);

-- 流A写入: (1, 'Alice', 18, NULL) -> 结果: id=1, name='Alice', age=18
-- 流B写入: (1, NULL, NULL, '10:00') -> 结果: id=1, name='Alice', age=18, time='10:00'

3. Aggregation (聚合)

逻辑：对指定字段进行数学聚合（Sum, Max, Min, ListAgg等）。 场景：实时累加器、预计算指标。

CREATE TABLE product_sales (
    product_id BIGINT PRIMARY KEY NOT ENFORCED,
    total_sales DOUBLE,
    max_price DOUBLE
) WITH (
    'merge-engine' = 'aggregation',
    'fields.total_sales.aggregate-function' = 'sum', -- 销售额自动累加
    'fields.max_price.aggregate-function' = 'max'    -- 价格取最大值
);

-- 写入: (1, 100.0, 50.0)
-- 写入: (1, 50.0, 60.0)
-- 结果: (1, 150.0, 60.0)

---

🔄 乱序处理 (Handling Out-of-Order Data)

在分布式系统中，网络延迟可能导致"旧数据比新数据晚到"。如果不处理，旧数据可能会覆盖新数据，导致数据错误。

解决方案：sequence.field (序列号字段)

Paimon允许你指定一个字段作为"版本号"（通常是事件时间 Event Time）。只有当新数据的序列号 >= 旧数据的序列号时，才会执行更新；否则忽略旧数据。

CREATE TABLE sensor_data (
    device_id BIGINT PRIMARY KEY NOT ENFORCED,
    temperature DOUBLE,
    event_time TIMESTAMP(3)
) WITH (
    'merge-engine' = 'deduplicate',
    'sequence.field' = 'event_time'  -- 指定事件时间为序列号
);

效果：

1. 写入 (1, 25.0, '10:00:01') ➡️ 成功。
2. 写入 (1, 26.0, '10:00:05') ➡️ 成功（因为 05 > 01）。
3. 写入 (1, 24.0, '10:00:03') ➡️ 忽略（因为 03 < 05，这是迟到的旧数据）。

---

🚀 性能优化：Lookup Join (维表关联)

主键表非常适合作为Flink SQL中的维表 (Lookup Table)。Paimon对主键点查做了深度优化。

场景：流表关联Paimon维表补全信息。

-- Flink SQL Job
SELECT 
    o.order_id, 
    o.amount, 
    u.name  -- 从Paimon维表补全用户名
FROM orders_stream o
JOIN user_profile FOR SYSTEM_TIME AS OF o.proc_time AS u
ON o.user_id = u.user_id;

优化建议：

• 开启本地缓存：'lookup.cache' = 'FIXED'
• 缓存行数：'lookup.cache-rows' = '10000'

---

📋 本节要点回顾

✅ 核心技能掌握检查

• [ ] 理解 INSERT 即 Upsert 的概念
• [ ] 能够根据业务场景选择 Deduplicate, Partial-Update 或 Aggregation 引擎
• [ ] 掌握使用 sequence.field 解决乱序问题的原理
• [ ] 知道如何将Paimon表作为维表进行关联查询

🔗 学习路径连接

已完成：✅ 06-读写操作 → ✅ 07-主键表管理 下一步：Paimon Schema演进 - 学习如何在生产环境中安全地修改表结构

---

创建时间:2024-12-05 最后更新:2024-12-05 学习时长:25分钟 难度等级:⭐⭐⭐ (高级)

#Paimon #主键表 #MergeEngine #乱序处理 #维表Join