时序大模型

1. 简介

时序大模型是专为时序数据分析设计的基础模型。IoTDB 团队长期自研时序基础模型 Timer，该模型基于 Transformer 架构，经海量多领域时序数据预训练，可支撑时序预测、异常检测、时序填补等下游任务；团队打造的 AINode 平台同时支持集成业界前沿时序基础模型，为用户提供多元选型。不同于传统时序分析技术，这类大模型具备通用特征提取能力，可通过零样本分析、微调等技术服务广泛的分析任务。

本文相关时序大模型领域的技术成果（含团队自研及业界前沿方向）均发表于国际机器学习顶级会议，具体内容见附录。

2. 应用场景

• 时序预测：为工业生产、自然环境等领域提供时间序列数据的预测服务，帮助用户提前了解未来变化趋势。
• 数据填补：针对时间序列中的缺失序列段，进行上下文填补，以增强数据集的连续性和完整性。
• 异常检测：利用自回归分析技术，对时间序列数据进行实时监测，及时预警潜在的异常情况。

3. Timer-1 模型

Timer^[1] 模型（非内置模型）不仅展现了出色的少样本泛化和多任务适配能力，还通过预训练获得了丰富的知识库，赋予了它处理多样化下游任务的通用能力，拥有以下特点：

• 泛化性：模型能够通过使用少量样本进行微调，达到行业内领先的深度模型预测效果。
• 通用性：模型设计灵活，能够适配多种不同的任务需求，并且支持变化的输入和输出长度，使其在各种应用场景中都能发挥作用。
• 可扩展性：随着模型参数数量的增加或预训练数据规模的扩大，模型效果会持续提升，确保模型能够随着时间和数据量的增长而不断优化其预测效果。

4. Timer-XL 模型

Timer-XL^[2]基于 Timer 进一步扩展升级了网络结构，在多个维度全面突破：

• 超长上下文支持：该模型突破了传统时序预测模型的限制，支持处理数千个 Token（相当于数万个时间点）的输入，有效解决了上下文长度瓶颈问题。
• 多变量预测场景覆盖：支持多种预测场景，包括非平稳时间序列的预测、涉及多个变量的预测任务以及包含协变量的预测，满足多样化的业务需求。
• 大规模工业时序数据集：采用万亿大规模工业物联网领域的时序数据集进行预训练，数据集兼有庞大的体量、卓越的质量和丰富的领域等重要特质，覆盖能源、航空航天、钢铁、交通等多领域。

5. Timer-Sundial 模型

Timer-Sundial^[3]是一个专注于时间序列预测的生成式基础模型系列，其基础版本拥有 1.28 亿参数，并在 1 万亿个时间点上进行了大规模预训练，其核心特性包括：

• 强大的泛化性能：具备零样本预测能力，可同时支持点预测和概率预测。
• 灵活预测分布分析：不仅能预测均值或分位数，还可通过模型生成的原始样本评估预测分布的任意统计特性。
• 创新生成架构： 采用 “Transformer + TimeFlow” 协同架构——Transformer 学习时间片段的自回归表征，TimeFlow 模块基于流匹配框架 (Flow-Matching) 将随机噪声转化为多样化预测轨迹，实现高效的非确定性样本生成。

6. Chronos-2 模型

Chronos-2 ^[4]是由 Amazon Web Services (AWS) 研究团队开发的，基于 Chronos 离散词元建模范式发展起来的通用时间序列基础模型，该模型同时适用于零样本单变量预测和协变量预测。其主要特性包括：

• 概率性预测能力：模型以生成式方式输出多步预测结果，支持分位数或分布级预测，从而刻画未来不确定性。
• 零样本通用预测：依托预训练获得的上下文学习能力，可直接对未见过的数据集执行预测，无需重新训练或参数更新。
• 多变量与协变量统一建模：支持在同一架构下联合建模多条相关时间序列及其协变量，以提升复杂任务的预测效果。但对输入有严格要求：
  • 未来协变量的名称组成的集合必须是历史协变量的名称组成的集合的子集；
  • 每个历史协变量的长度必须等于目标变量的长度；
  • 每个未来协变量的长度必须等于预测长度；
• 高效推理与部署：模型采用紧凑的编码器式（encoder-only）结构，在保持强泛化能力的同时兼顾推理效率。

7. Moirai2 模型

Moirai2^[5]（Moirai 2.0）是由 Salesforce AI Research 推出的通用时间序列基础模型（V2.0.10.1 及以后版本支持）。当前集成的是 Moirai 2.0 R-small 版本，模型参数量约为 11.4M。与采用掩码编码器架构的 Moirai 1.0 不同，Moirai 2.0 使用因果 Decoder-only Patch Transformer，并通过单一 Patch 尺寸、多 Token 预测和多分位数输出，在较小模型规模下实现高效的单变量预测。其核心特性包括：

• 轻量化模型架构：采用 Decoder-only Patch Transformer，并结合 RMSNorm、旋转位置编码和 SiLU-GLU 前馈网络，在较小参数规模下兼顾预测能力和推理效率。
• 多 Token 预测：每个解码步骤可同时预测多个 Patch，减少长预测范围下所需的自回归解码次数。
• 概率性预测能力：模型输出 0.1～0.9 共 9 个分位数，AINode 使用 p50 中位数作为点预测结果。
• Patch 解码：在进入注意力模块前，将时间序列按照固定大小的 Patch 进行分组，以提高时序特征提取和解码效率。
• 实例归一化：在模型输入前对每条时间序列进行标准化，并在输出后执行反归一化，以缓解不同序列间的分布漂移。
• 输入范围：模型聚焦于单变量预测，不支持多变量目标及协变量输入。

注意：Moirai 2.0 R-small 模型权重采用 CC BY-NC 4.0 许可证，仅限研究用途。

8. Toto 模型

Toto^[6]（Toto 2.0）是由 Datadog 推出的新一代时间序列基础模型（V2.0.10.1 及以后版本支持），主要面向可观测性场景中的时间序列预测。当前集成的模型采用 2.5B 参数版本，基于 Decoder-only Patch Transformer 架构，交替使用因果时间注意力与变量注意力，对时间维度和变量维度进行联合建模。其核心特性包括：

• 单变量与多变量预测：支持单个目标变量以及多个相关目标变量的联合预测，适用于 CPU、内存、网络流量等可观测性指标的分析场景。
• 概率性预测能力：模型输出 0.1～0.9 的固定分位数，可刻画预测结果的不确定性；AINode 使用 p50 中位数作为点预测结果。
• 高效块解码：采用缓存式块解码机制，可分块生成预测结果，降低较长预测范围下的重复计算开销。
• 大规模模型能力：通过扩大模型参数量和预训练数据规模提升预测性能，具备良好的零样本泛化能力。
• 协变量限制：当前集成版本不支持历史协变量或已知未来协变量。

9. 效果展示

时序大模型能够适应多种不同领域和场景的真实时序数据，在各种任务上拥有优异的处理效果，以下是在不同数据上的真实表现：

时序预测：

利用时序大模型的预测能力，能够准确预测时间序列的未来变化趋势，如下图蓝色曲线代表预测趋势，红色曲线为实际趋势，两曲线高度吻合。

数据填补：

利用时序大模型对缺失数据段进行预测式填补。

异常检测：

利用时序大模型精准识别与正常趋势偏离过大的异常值。

10. 部署使用

1. 打开 IoTDB cli 控制台，检查 ConfigNode、DataNode、AINode 节点确保均为 Running。

IoTDB> show cluster
+------+----------+-------+---------------+------------+--------------+-----------+
|NodeID|  NodeType| Status|InternalAddress|InternalPort|       Version|  BuildInfo|
+------+----------+-------+---------------+------------+--------------+-----------+
|     0|ConfigNode|Running|      127.0.0.1|       10710|       2.0.5.1|    069354f|
|     1|  DataNode|Running|      127.0.0.1|       10730|       2.0.5.1|    069354f|
|     2|    AINode|Running|      127.0.0.1|       10810|       2.0.5.1|069354f-dev|
+------+----------+-------+---------------+------------+--------------+-----------+
Total line number = 3
It costs 0.140s

2. 联网环境下首次启动 AINode 节点会自动拉取 Timer-XL、Sundial、Chronos2、Moirai2、Toto 模型。

   注意：

   • AINode 安装包不包含模型权重文件
   • 自动拉取功能依赖部署环境具备 HuggingFace 网络访问能力
   • AINode 支持手动上传模型权重文件，具体操作方法可参考导入权重文件

3. 检查模型是否可用。

IoTDB> show models
+---------------------+---------+--------+--------+
|              ModelId|ModelType|Category|   State|
+---------------------+---------+--------+--------+
|                arima|   sktime| builtin|  active|
|          holtwinters|   sktime| builtin|  active|
|exponential_smoothing|   sktime| builtin|  active|
|     naive_forecaster|   sktime| builtin|  active|
|       stl_forecaster|   sktime| builtin|  active|
|         gaussian_hmm|   sktime| builtin|  active|
|              gmm_hmm|   sktime| builtin|  active|
|                stray|   sktime| builtin|  active|
|             timer_xl|    timer| builtin|  active|
|              sundial|  sundial| builtin|  active|
|             chronos2|       t5| builtin|  active|
|              moirai2|   moirai| builtin|  active|
|                 toto|     toto| builtin|  active|
+---------------------+---------+--------+--------+

附录

[1] Timer- Generative Pre-trained Transformers Are Large Time Series Models, Yong Liu, Haoran Zhang, Chenyu Li, Xiangdong Huang, Jianmin Wang, Mingsheng Long. ↩ 返回

[2] TIMER-XL- LONG-CONTEXT TRANSFORMERS FOR UNIFIED TIME SERIES FORECASTING, Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long. ↩ 返回

[3] Sundial- A Family of Highly Capable Time Series Foundation Models, Yong Liu, Guo Qin, Zhiyuan Shi, Zhi Chen, Caiyin Yang, Xiangdong Huang, Jianmin Wang, Mingsheng Long, ICML 2025 spotlight. ↩ 返回

[4] Chronos-2: From Univariate to Universal Forecasting, Abdul Fatir Ansari, Oleksandr Shchur, Jaris Küken, Andreas Auer, Boran Han, Pedro Mercado, Syama Sundar Rangapuram, Huibin Shen, Lorenzo Stella, Xiyuan Zhang, Mononito Goswami, Shubham Kapoor, Danielle C. Maddix, Pablo Guerron, Tony Hu, Junming Yin, Nick Erickson, Prateek Mutalik Desai, Hao Wang, Huzefa Rangwala, George Karypis, Yuyang Wang, Michael Bohlke-Schneider, arXiv:2510.15821. ↩ 返回

[5] Moirai 2.0: When Less Is More for Time Series Forecasting, Salesforce AI Research, arXiv:2511.11698. ↩ 返回

[6] Toto 2.0: Time Series Forecasting Enters the Scaling Era, Datadog, arXiv:2605.20119. ↩ 返回