跳转至

资源队列

本文将为您介绍资源队列的具体概念,以及如何新建、编辑、删除资源队列。

1、概述

资源队列是平台侧对底层计算引擎资源组的逻辑抽象,用于实现不同类型任务的资源隔离与并发控制。

通过资源队列,可以解决以下问题:

  • 查询任务与物化构建任务相互抢占资源

  • 高优任务被低优任务阻塞

  • 高峰时段资源不可控

2、资源队列与引擎资源组关系

  • 一个资源队列绑定一个引擎资源组

  • 同一个引擎资源组 可以被多个资源队列绑定

  • 平台侧的资源队列主要用于:

    • 使用范围控制

    • 并发限制

    • 调度优先级

3、资源队列类型

1. 查询资源队列

用途:

  • 查询界面

  • 查询 API

特性:

  • 仅允许执行查询任务

  • 不参与物化构建与补数

2. 构建资源队列(物化资源队列)

用途:

  • 普通物化构建

  • 加速物化构建

特性:

  • 仅允许执行构建任务

  • 支持指定用户范围

  • 支持并发数限制

  • 支持分时段并发控制

4、新建资源队列

4.1、 配置入口

在 Aloudata CAN 管理设置->资源管理->资源队列;如下图:

4.2、 新建资源队列

在资源队列界面中,右上角点击“新建资源队列”。新建资源队列弹窗内容如下

配置内容 描述 示例
资源队列名称 资源队列在平台内的唯一标识名称,用于物化任务、查询路由等场景选择 STARROCKS_QUERY_DEFAULT
类型 数据查询,可被「查询路由」规则引用物化构建:用于查询路由规则引用,仅用于查询任务
引擎 指定该资源队列所绑定的计算引擎类型。
配置 用于配置引擎侧资源组信息 "resourceIsolationSql": "SET resource_group = ''"
用户范围 用于控制哪些用户可以使用该资源队列。可选项:全部用户指定用户
并发控制 用于限制该资源队列内同时运行的任务数量;统一控制:设置一个固定的最大并发数分时段控制:不同时间段设置不同并发上限 示例:

- 白天(09:00–18:00):并发 2

- 夜间(18:00–09:00):并发 10

5、编辑资源队列

编辑入口如下图所示:

6、删除资源队列

删除入口如下图所示:

7、资源队列在物化任务中的使用

1. 物化方案资源设置

在物化方案的「调度配置」中,可以设置:

  • 运行资源队列(构建类型)

  • 调度优先级

该配置将应用于:

  • 周期实例

  • 默认补数实例

2. 补数任务资源设置

在提交补数任务时:

  • 默认跟随物化方案配置

  • 支持临时指定资源队列与优先级