論文の概要: Moirai 2.0: When Less Is More for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2511.11698v1
• Date: Wed, 12 Nov 2025 12:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.008314
• Title: Moirai 2.0: When Less Is More for Time Series Forecasting
• Title（参考訳）: Moirai 2.0: 時系列の予測はもっと少ない
• Authors: Chenghao Liu, Taha Aksu, Juncheng Liu, Xu Liu, Hanshu Yan, Quang Pham, Doyen Sahoo, Caiming Xiong, Silvio Savarese, Junnan Li,
• Abstract要約: Moirai 2.0は、36Mシリーズの新しいコーパスで訓練されたデコーダのみの基礎モデルである。 これは、精度、速度、モデルサイズの間の強いトレードオフを達成しつつ、事前訓練された上位モデルの1つにランク付けします。 効率性とモデルサイズに関しては、Moirai 2.0は前バージョンであるMoirai 1.0-Largeの2倍の速度と30倍の小型である。
• 参考スコア（独自算出の注目度）: 91.36760228926214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Moirai 2.0, a decoder-only time-series foundation model trained on a new corpus of 36M series. The model adopts quantile forecasting and multi-token prediction, improving both probabilistic accuracy and inference efficiency. On the Gift-Eval benchmark, it ranks among the top pretrained models while achieving a strong trade-off between accuracy, speed, and model size. Compared to Moirai 1.0, Moirai 2.0 replaces masked-encoder training, multi-patch inputs, and mixture-distribution outputs with a simpler decoder-only architecture, single patch, and quantile loss. Ablation studies isolate these changes -- showing that the decoder-only backbone along with recursive multi-quantile decoding contribute most to the gains. Additional experiments show that Moirai 2.0 outperforms larger models from the same family and exhibits robust domain-level results. In terms of efficiency and model size, Moirai 2.0 is twice as fast and thirty times smaller than its prior best version, Moirai 1.0-Large, while also performing better. Model performance plateaus with increasing parameter count and declines at longer horizons, motivating future work on data scaling and long-horizon modeling. We release code and evaluation details to support further research.
• Abstract（参考訳）: 我々は,36M シリーズの新しいコーパスをトレーニングしたデコーダのみの時系列基礎モデルである Moirai 2.0 を紹介する。 このモデルは量子予測とマルチトークン予測を採用し、確率的精度と推論効率の両方を改善している。 Gift-Evalベンチマークでは、トレーニング済みの最上位モデルにランクインし、精度、速度、モデルサイズのトレードオフを強く達成している。 Moirai 1.0と比較すると、Moirai 2.0はマスク付きエンコーダトレーニング、マルチパッチ入力、ミックス・ディストリビューション出力を、よりシンプルなデコーダのみのアーキテクチャ、単一パッチ、量子損失で置き換えている。 アブレーション研究は、これらの変更を分離し、デコーダのみのバックボーンと再帰的なマルチクエンタイルデコーディングがゲインに大きく貢献することを示している。 さらなる実験により、Moirai 2.0は、同じファミリーのより大きなモデルより優れ、堅牢なドメインレベルの結果を示すことが示されている。 効率性とモデルサイズに関しては、Moirai 2.0は前バージョンであるMoirai 1.0-Largeの2倍の速さと30倍の小型であり、性能も向上している。 パラメータ数の増加と長い地平線での減少を伴うモデル性能高原は、データスケーリングと長期モデリングの今後の取り組みを動機付けている。 さらなる研究を支援するために、コードと評価の詳細をリリースします。

関連論文リスト

• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Seq vs Seq: An Open Suite of Paired Encoders and Decoders [37.62535961965971]
  我々は,1700万のパラメータから10億までの,ペア付きエンコーダのみとデコーダのみのモデルであるSOTAオープンデータEttinスイートを紹介する。 エンコーダのみのモデルとデコーダのみのモデルの両方で同じレシピを使用して、それぞれのサイズで両方のカテゴリでSOTAレシピを生成する。 本稿では,デコーダモデルをエンコーダのタスク(およびその逆も)に適応させることが,逆の目的のみを使用する場合に比べて低いことを示す。
  論文  参考訳（メタデータ） (2025-07-15T15:31:51Z)
• Training and Inference Efficiency of Encoder-Decoder Speech Models [25.031622057759492]
  我々は効率角に焦点を合わせ、これらの音声モデルを効率的に訓練しているかどうかを問う。 ミニバッチサンプリングにおける無視は、パディングに50%以上費やされていることを示す。 モデルアーキテクチャを調整してデコーダからエンコーダにモデルパラメータを転送すると、3倍の推論速度が得られます。
  論文  参考訳（メタデータ） (2025-03-07T20:57:43Z)
• Scaling Inference-Efficient Language Models [3.271571137474847]
  モデルアーキテクチャは推論レイテンシに影響を与えており、同じサイズのモデルでは最大3.5倍のレイテンシの差が生じる可能性がある。 我々は、モデルパラメータ数、トレーニングトークンの数、モデルアーキテクチャを共最適化するために、Chinchillaスケーリングの法則を変更します。 下流タスクの精度を維持しつつ、推論遅延を1.8倍改善するMorph-1Bモデルをリリースする。
  論文  参考訳（メタデータ） (2025-01-30T03:16:44Z)
• A Mamba Foundation Model for Time Series Forecasting [13.593170999506889]
  本稿では,マンバアーキテクチャ上に構築された時系列予測のための線形複雑基盤モデルであるTSMambaを紹介する。 このモデルは、前方および後方のMambaエンコーダを通して時間的依存関係をキャプチャし、高い予測精度を達成する。 また、タスク固有の予測モデルと比較して、競争力や優れたフルショットパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-05T09:34:05Z)
• Tandem Transformers for Inference Efficient LLMs [49.75726447408795]
  これらの問題に対処するために,新しいアーキテクチャであるタンデム変換器を導入する。 このアーキテクチャは、小さな自己回帰モデルとブロックモードで動作する大きなモデルを組み合わせたものである。 PaLM2プレトレーニングデータセットでは、PaLM2-BisonとPaLM2-Geckoのタンデムが次点予測精度を3.3%改善している。
  論文  参考訳（メタデータ） (2024-02-13T18:24:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。