# 电商实时数据湖仓技术 Wiki（Flink + Paimon + StarRocks）

> 一个从 0 到 1 构建电商实时数据湖仓的教学型工程：用 Spring 生成器模拟日志与业务数据，用 Flink SQL 与 Paimon 完成 ODS/DIM/DWD/DWS/ADS 五层湖仓搭建，再由 StarRocks 直读 Paimon 实现可视化分析。值得研究的是它把「数据生成、双链路入湖、湖仓分层、系统调优、业务指标实现」串成了一条可完整跑通的最小闭环。

This is a Grok-Wiki source-grounded repository wiki. Use the complete Markdown link when an agent needs the full repo context.

## Context Links

- [Complete Markdown wiki](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533/llms-full.txt)
- [Complete Markdown alias](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533.md)
- [Human interactive wiki](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533)
- [GitHub repository](https://github.com/fengyu-eng/paimon-datalake)

## Repository

- Repository: fengyu-eng/paimon-datalake

- Generated: 2026-09-08T05:47:07.310Z
- Updated: 2026-09-14T05:23:42.536Z
- Runtime: Claude Code · claude-fable-5
- Format: Custom
- Pages: 4

## Pages

- [开篇导览：项目定位与阅读地图](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533/pages/01-page-1.md): 按自定义格式的五个视角（架构、数据流、计算存储、系统优化、业务实现）介绍本仓库是什么、由哪些组件拼成，并给出后三页各自的阅读入口，帮助读者先建立整体心智模型。
- [数据源头：业务数据与用户日志双生成器](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533/pages/02-page-2.md): 讲解仿真数据是怎么造出来的：一个 Spring 应用把商品、订单、用户等全链路业务数据写入 MySQL，另一个 Spring 应用持续构造带嵌套结构的用户行为日志并发往 Kafka，为湖仓提供真实感输入。
- [湖仓五层结构与实时数据流](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533/pages/03-page-3.md): 沿着数据流讲清湖仓分层：日志经 Kafka Connector、业务数据经 MySQL CDC 两条链路进入 ODS，再经 DIM 维度加工、DWD 明细与枚举解码、DWS 近 N 日聚合、ADS 指标产出，落成可按天分区、可主键更新的 Paimon 表。
- [计算存储调优、业务实现与经验收尾](https://grok-wiki.com/public/wiki/fengyu-eng-paimon-datalake-3aa80a38b533/pages/04-page-4.md): 收尾页：从统一配置入口出发解读 Flink 状态与检查点、微批、Paimon 文件策略等系统优化点，说明元数据在 Hive Metastore、数据落 HDFS 的存储形态，介绍 StarRocks 外部分区目录直读与可视化，最后把交易、流量、用户等业务域如何落到各层做一次收束，并沉淀可复用经验。

## Source Files

- `dependency-reduced-pom.xml`
- `pom.xml`
- `README.md`
- `src/main/datagenerator/business_code/BusinessApplication.java`
- `src/main/datagenerator/business_code/generator/BaseDataGenerator.java`
- `src/main/datagenerator/business_code/util/DbUtil.java`
- `src/main/datagenerator/business_code/util/RandomUtil.java`
- `src/main/datagenerator/userlog_code/generator/UserLogGenerator.java`
- `src/main/datagenerator/userlog_code/UserLogApplication.java`
- `src/main/java/com/fy/warehouse/ads/ads_coupon_stats_full.java`
- `src/main/java/com/fy/warehouse/config/FlinkConfigUtil.java`
- `src/main/java/com/fy/warehouse/DIM/dim_sku_full.java`
- `src/main/java/com/fy/warehouse/DIM/dim_user_zip_full.java`
- `src/main/java/com/fy/warehouse/dwd/dwd_trade_order_detail_full.java`
- `src/main/java/com/fy/warehouse/dwd/dwd_traffic_action_full.java`
- `src/main/java/com/fy/warehouse/dws/dws_trade_user_sku_order_nd_full.java`
- `src/main/java/com/fy/warehouse/ODS/ods_log_inc.java`
- `src/main/resources/core-site.xml`
- `src/main/resources/hdfs-site.xml`
- `StarRocks.sql`