Agent-readable wiki

电商实时数据湖仓技术 Wiki（Flink + Paimon + StarRocks）

一个从 0 到 1 构建电商实时数据湖仓的教学型工程：用 Spring 生成器模拟日志与业务数据，用 Flink SQL 与 Paimon 完成 ODS/DIM/DWD/DWS/ADS 五层湖仓搭建，再由 StarRocks 直读 Paimon 实现可视化分析。值得研究的是它把「数据生成、双链路入湖、湖仓分层、系统调优、业务指标实现」串成了一条可完整跑通的最小闭环。

Pages

  1. 开篇导览：项目定位与阅读地图按自定义格式的五个视角（架构、数据流、计算存储、系统优化、业务实现）介绍本仓库是什么、由哪些组件拼成，并给出后三页各自的阅读入口，帮助读者先建立整体心智模型。
  2. 数据源头：业务数据与用户日志双生成器讲解仿真数据是怎么造出来的：一个 Spring 应用把商品、订单、用户等全链路业务数据写入 MySQL，另一个 Spring 应用持续构造带嵌套结构的用户行为日志并发往 Kafka，为湖仓提供真实感输入。
  3. 湖仓五层结构与实时数据流沿着数据流讲清湖仓分层：日志经 Kafka Connector、业务数据经 MySQL CDC 两条链路进入 ODS，再经 DIM 维度加工、DWD 明细与枚举解码、DWS 近 N 日聚合、ADS 指标产出，落成可按天分区、可主键更新的 Paimon 表。
  4. 计算存储调优、业务实现与经验收尾收尾页：从统一配置入口出发解读 Flink 状态与检查点、微批、Paimon 文件策略等系统优化点，说明元数据在 Hive Metastore、数据落 HDFS 的存储形态，介绍 StarRocks 外部分区目录直读与可视化，最后把交易、流量、用户等业务域如何落到各层做一次收束，并沉淀可复用经验。

Complete Markdown

The complete agent-readable Markdown files are published separately from this HTML page.