跳转至

外部数据源接入

本章节将指导您如何通过外表方式将数据源连接到 Aloudata CAN 指标平台中，当前 Aloudata CAN 支持 Starrocks、Doris 两种计算引擎，不同引擎支持的数据源范围有所差异，详细列表如下：

1. 支持列表

数据源的接入方式分为 界面接入 以及 后台接入 两个模式。

  • 界面接入：通过指标平台操作界面接入指定的数据源。

  • 后台接入：通过 Starroks、Doris 的原生 catalog 注册的能力，在 Srarrocks 或 Doris 上通过命令行接入数据。

StarRocks版本 Doris版本
Hive ✅ ✅
IceBerg ✅ ✅
Hudi ✅ ✅
Delta Lake ✅ ❌
Elasticsearch ✅ ✅
MySQL ✅界面接入 ✅界面接入
PostgreSQL ✅界面接入 ✅界面接入
Oracle ✅ ✅界面接入
SQLServer ❌ ✅界面接入
Clickhouse ❌ ✅界面接入
SAP HANA ❌ ✅
Trino ❌ ✅
OceanBase ❌ ✅
阿里云 DLF ❌ ✅
HDFS ✅ ✅
Paimon ✅ ❌
Maxcompute ✅ ✅

2. 界面接入

2.1. 操作入口

在 ALoudata CAN 首页顶部导航栏指标定义，左侧菜单栏中选择数据源，在数据源右上角点击“新建数据源”。如下图

image.png

2.2 选择数据源

当前 Aloudata CAN 支持 Starrocks、Doris 两种计算引擎，不同引擎支持的数据源范围有所差异。支持的界面接入数据源请查看 1、支持列表 中的说明。

image.png

2.3. 接入数据源

在选定指定的数据源后，跳转到数据源配置绑定界面。不同数据源存在一定的配置信息差异，按描述填写对应的配置信息。然后点击确定完成数据源的新建。

image.png

2.4. 后台接入

您可以通过 Starrocks/Doris 的 external catalog 直接查询外部数据，无需进行数据导入或迁移。

Starrocks

  • Hive catalog：用于查询 Hive 集群中的数据。

  • Iceberg catalog：用于查询 Iceberg 集群中的数据。

  • Hudi catalog：用于查询 Hudi 集群中的数据。

  • Delta Lake catalog：用于查询 Delta Lake 集群中的数据。

  • JDBC catalog：用于查询 JDBC 数据源中的数据。

  • Elasticsearch catalog：用于查询 Elasticsearch 中的数据。该特性自 3.1 版本起支持。

  • Paimon catalog：用于查询 Paimon 中的数据。该特性自 3.1 版本起支持。

  • Unified catalog：把 Hive、Iceberg、Hudi 和 Delta Lake 作为一个融合的数据源，从中查询数据。该特性自 3.2 版本起支持。

Doris