論文の概要: CoGenCast: A Coupled Autoregressive-Flow Generative Framework for Time Series Forecasting
- arxiv url: http://arxiv.org/abs/2602.03564v1
- Date: Tue, 03 Feb 2026 14:08:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.501541
- Title: CoGenCast: A Coupled Autoregressive-Flow Generative Framework for Time Series Forecasting
- Title(参考訳): CoGenCast: 時系列予測のための自動回帰フロー生成フレームワーク
- Authors: Yaguo Liu, Mingyue Cheng, Daoyu Wang, Xiaoyu Tao, Qi Liu,
- Abstract要約: 時系列予測は、文脈条件に対する意味的理解と連続時間力学のモデリングの両方を必要とする生成問題と見なすことができる。
既存のアプローチは、セマンティックコンテキストモデリングのための自己回帰的大規模言語モデル(LLM)または連続確率生成のための拡散様モデルのいずれかに依存している。
実効時系列予測のために,事前学習したLLMとフローマッチング機構を結合したハイブリッド生成フレームワークCoGenCastを提案する。
- 参考スコア(独自算出の注目度): 9.177121113587424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Time series forecasting can be viewed as a generative problem that requires both semantic understanding over contextual conditions and stochastic modeling of continuous temporal dynamics. Existing approaches typically rely on either autoregressive large language models (LLMs) for semantic context modeling or diffusion-like models for continuous probabilistic generation. However, neither method alone can adequately model both aspects simultaneously. In this work, we propose CoGenCast, a hybrid generative framework that couples pre-trained LLMs with flow-matching mechanism for effective time series forecasting. Specifically, we reconfigure pre-trained decoder-only LLMs into a native forecasting encoder-decoder backbone by modifying only the attention topology, enabling bidirectional context encoding and causal representation generation. Building on this, a flow-matching mechanism is further integrated to model temporal evolution, capturing continuous stochastic dynamics conditioned on the autoregressively generated representation. Notably, CoGenCast naturally supports multimodal forecasting and cross-domain unified training. Extensive experiments on multiple benchmarks show that CoGenCast consistently outperforms previous compared baselines. Code is available at https://github.com/liuyaguo/_CoGenCast.
- Abstract(参考訳): 時系列予測は、文脈条件に対する意味的理解と連続時間力学の確率的モデリングの両方を必要とする生成問題と見なすことができる。
既存のアプローチは通常、セマンティックコンテキストモデリングのための自己回帰的大規模言語モデル(LLM)または連続確率生成のための拡散様モデルのいずれかに依存している。
しかし、どちらの手法も両方の側面を適切にモデル化できない。
本研究では,事前学習したLLMとフローマッチング機構を結合したハイブリッド生成フレームワークであるCoGenCastを提案する。
具体的には,事前学習したデコーダのみのLLMを,アテンショントポロジのみを変更したネイティブ予測エンコーダ/デコーダバックボーンに再構成し,双方向のコンテキストエンコーディングと因果表現生成を可能にする。
これに基づいて、フローマッチング機構が時間的進化のモデル化にさらに統合され、自己回帰的に生成された表現に条件付けられた連続確率力学をキャプチャする。
特に、CoGenCastは自然にマルチモーダル予測とクロスドメイン統合トレーニングをサポートしている。
複数のベンチマークでの大規模な実験は、CoGenCastが相変わらず以前の比較ベースラインを上回っていることを示している。
コードはhttps://github.com/liuyaguo/_CoGenCast.comで入手できる。
関連論文リスト
- Adapting LLMs to Time Series Forecasting via Temporal Heterogeneity Modeling and Semantic Alignment [32.41581846555808]
大規模言語モデル(LLM)は、最近、自然言語処理における印象的な能力を実証した。
時間的アライメントのモデル化と意味的アライメントの強化によりLLMに基づく予測を強化する統合フレームワークであるTALONを提案する。
7つの実世界のベンチマークの実験では、TALONはすべてのデータセットで優れたパフォーマンスを達成している。
論文 参考訳(メタデータ) (2025-08-10T06:06:19Z) - Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion [67.94300151774085]
本稿では,自己回帰ビデオ拡散モデルのための新しい訓練パラダイムであるSelf Forcingを紹介する。
露光バイアスの長年の問題に対処し、地道的な文脈で訓練されたモデルは、自身の不完全な出力で条件付けられたシーケンスを生成する必要がある。
論文 参考訳(メタデータ) (2025-06-09T17:59:55Z) - Unifying Autoregressive and Diffusion-Based Sequence Generation [3.1853022872760186]
拡散に基づくシーケンス生成モデルに対して,自己回帰型言語モデルで行を曖昧にする重要な拡張を提示する。
個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。
第二に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
論文 参考訳(メタデータ) (2025-04-08T20:32:10Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2~3倍の高速化を実現した。
論文 参考訳(メタデータ) (2024-07-22T18:00:00Z) - Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。
このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
論文 参考訳(メタデータ) (2024-03-04T17:34:59Z) - Synergetic Learning of Heterogeneous Temporal Sequences for
Multi-Horizon Probabilistic Forecasting [48.8617204809538]
本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。
不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。
我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
論文 参考訳(メタデータ) (2021-01-31T11:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。