跳转至

外挂物化方案

1. 概述

外挂物化方案(External Materialization)支持用户在指标平台之外,由外部系统完成物化任务的构建与更新,再将更新范围同步回指标平台,使其参与加速命中判断。

外挂物化允许你自行管理物化表(创建 / 更新 / 调度),而指标平台负责:

读取结构

识别字段

识别可用日期范围

判断查询命中

2. 创建入口

外挂物化提供两个主要创建方式:直接新建方案转换

2.1 直接新建(新建入口)

image.png

image.png

2.2 方案转换

image.png

已存在的加速方案支持“一键转换为外挂物化方案”。

转换后将保留:

  • 字段配置

  • 上卷配置

  • 物化内容结构

  • 参考信息

忽略:

  • 调度配置

  • 物化更新范围

  • 消息通知设置

3. 外挂物化方案内容配置

外挂物化的核心配置主要分为两部分:

  • 内容配置image.png

  • 参考信息(调度参考 / 脚本参考)image.png

3.1 内容配置(核心)

3.1.1 物化内容(指标列 / 维度列 / 筛选 / 更新方式)

image.png

配置项 说明
指标列 选择需要写入物化表的指标,如:退货总数量(sum_return_qty)。字段名称和字段类型可修改。
维度列 选择需要参与 group by 的维度,如:指标日期、开业日期、会员等级、门店类型等。
筛选 支持补充 where 条件,如 store_type=‘直营’ 注意:外挂场景需外部系统自行保证筛选逻辑一致性。
更新方式 - 全量更新
- 增量更新(仅当含指标日期时支持):::更新方式影响命中逻辑:增量更新需平台知道可用的日期范围;外部系统需调用接口同步更新区间

3.1.2 物化表配置(表结构定义)

用户需要填写:

  • 物化表名称(数据源/数据库/表名)

例如:

default_catalog.default_db.w_dm_date_test

3.1.3 上卷配置(可选)

image.png

配置项 说明
上卷维度 选择需要支持上卷的维度,例如县域 → 城市 → 省份。
Bitmap 上卷 可选。当使用 bitmap 上卷时,字段需满足 bitmap 相关函数可执行的数据类型要求。

注意:bitmap 上卷对外部物化表的字段类型有要求,外部表生成时需提前确认类型正确。

3.2 参考信息(只做信息展示)

参考信息包含两个部分:

3.2.1 调度参考(非逻辑性配置)

image.png

用户可填写:

  • 调度周期

  • 调度时间

该信息 不会影响计算与命中,仅用于让团队了解该外部任务自身的调度管理方式。

3.2.2 脚本参考(平台生成 SQL 参考)

平台提供:

  • 物化表结构参考 SQLimage.png

  • 物化表更新参考 SQLimage.png

4. 相关接口

接口 说明
获取物化方案详情 获取物化方案的配置详情,通过该接口可以获得任意类型的物化方案的详细配置信息。
对于外挂物化方案,通过该接口可以额外拿到参考信息
物化数据更新 通过该接口,可以同步通知平台物化方案对应的物化表的元数据更新信息。
全量更新:通知后认为该物化表数据已完成更新

增量更新:需要传入更新的时间段,用于告知指标平台该物化表哪些日期已经更新
物化数据清除 通过该接口,可以告知指标平台已经回补的数据存在部分过期,同于订正物化命中的数据范围