跳转至

快速结果传输(Arrow)

Dosi 可以用 Apache Arrow 传输查询结果。对于线上格式本来就是列式的引擎,能做到端到端列式。 结果行本身不变,变的是数仓和客户端之间要做多少编码和解析。 这一页讲哪些引擎支持、要配置什么、哪些 API 会变快。 连接器的配置见连接数仓。

哪些引擎支持

引擎 Arrow 通路
DuckDB 进程内,零拷贝
ClickHouse 同一个 HTTP 连接上的 FORMAT ArrowStream
StarRocks、Doris Arrow Flight SQL(按连接配置显式启用,见下文)
Databricks ARROW_STREAM 结果
Snowflake、BigQuery 暂不支持。两者都能通过各自的 REST API 正常执行查询,返回的是行
其他所有连接器 只有行通路。它们的线上格式面向行,在客户端转成 Arrow 没有收益

我需要改配置吗?

基本不用。 现有的连接配置文件原样继续可用;行通路在各处仍是默认,行为完全一致。

引擎 为启用 Arrow 需要的配置改动
DuckDB 无。进程内 Arrow 就是该引擎的原生通路
ClickHouse 无。还是那份 HTTP 配置,适配器会自己请求 FORMAT ArrowStream
Databricks 除常规配置(host、warehouse、password: = PAT)外无需改动
StarRocks 加一个键:arrow_flight_port: 9408(FE 的 arrow_flight_port;需要 SR ≥ 3.5.1)。有这个键 = 走 Flight SQL;没有 = 走 MySQL 协议
Doris 加一个键:arrow_flight_port: 8070(FE 的 arrow_flight_sql_port;建议 Doris ≥ 2.1.5)。同样的显式启用规则

示例:

datasources:
  prod-sr:
    type: starrocks
    host: sr.internal
    port: 9030                # MySQL-wire port, still used as fallback/seeding
    arrow_flight_port: 9408   # presence opts this profile into Arrow Flight SQL
    username: osi
    password: ${SR_PASSWORD}
    database: analytics

这里刻意没有 result_format: 这类开关:每个适配器只有一种原生解码方式, 而出口格式是按请求选择的(Accept 头/CLI 参数),不是按数据源选择的。

构建特性

发布的二进制已经包含全部 Arrow 通路;-lean 版本包含除进程内 DuckDB 以外的全部通路。 从源码构建时,由下面这些 Cargo feature 开启:

Feature 它开启了什么 在默认构建里?
exec-duckdb 进程内 libduckdb,原生 Arrow 是(--no-default-features = 精简构建,通过外调 duckdb CLI 执行)
exec-http-arrow ClickHouse 的 FORMAT ArrowStream 否(隐含 exec-http)
exec-flightsql StarRocks/Doris 的 Arrow Flight SQL 客户端 否
exec-databricks Databricks Statement Execution API,内联 JSON 行 否
exec-databricks-arrow Databricks 的 ARROW_STREAM + EXTERNAL_LINKS 否(隐含 exec-databricks)
exec-all 以上全部 —
dosi-server 的 arrow /v1/query/execute 上的 Arrow IPC 响应 是(服务端默认)

哪些 API 会变快?

  • POST /v1/query/execute 且带 Accept: application/vnd.apache.arrow.stream: 最大的收益点。批次从数仓适配器直接以 Arrow IPC 流进 HTTP body, 服务端不再逐值做 JSON 编码,客户端不再做 JSON 解析,列式消费方 (Polars/pandas/DataFusion/另一个 Dosi)零解析就能读。既有客户端拿到的 JSON 响应逐字节不变。收益随结果规模放大:10 行的聚合可以忽略不计, 高基数分组和明细/导出类查询(10⁵ 行以上)则是决定性的。
  • dosi query --execute --format arrow:在 stdout 上给出 Arrow IPC, 可直接管进 DuckDB、Polars 或任何工具,完全跳过表格/JSON 渲染。
  • StarRocks/Doris 的大结果读取:Flight SQL 绕开了 FE 的行转发, 客户端并行地从各 BE 拉列式结果。厂商测得大结果集上相比 MySQL 协议有 20–160 倍差距;小聚合基本无变化。
  • ClickHouse:服务端的 Arrow 序列化(lz4 分帧)取代了两端的 JSON 编解码, 也省掉了 float/decimal 的文本往返转换。
  • DuckDB(默认引擎):进程内零拷贝取代了"每次查询启一个 CLI + 解析 JSON", 每一次 --execute 的延迟都更低,内存数据库也能在一个会话的多条语句间保持存在。
  • 哪些不会变快:只做编译的 API(/v1/query/compile、explain)根本不接触结果; 面向行协议的引擎(MySQL/TiDB/Postgres/Trino)上的小指标查询按设计就不变。

每条 Arrow 通路在发布前都要在测试语料上校验:Arrow 结果 ≡ 行结果 ≡ DuckDB 参考结果。