論文の概要: HART: Hybrid Attention-RWKV Time series Foundation Model

• arxiv url: http://arxiv.org/abs/2610.12883v1
• Date: Fri, 09 Oct 2026 02:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.352363
• Title: HART: Hybrid Attention-RWKV Time series Foundation Model
• Title（参考訳）: HART: Hybrid Attention-RWKV Time Series Model
• Abstract要約: 非自己回帰的多段階予測(NAF)により、時系列基礎モデルでは、将来の地平線全体を単一の前方通過で予測することができる。 RWKV-7はその強いシーケンスモデリング能力にもかかわらず、我々のNAF実験で長期劣化を示す。 本稿では,注目ブロックとRWKVブロックを交互に扱うハイブリッドアテンションRWKV時系列基盤モデルHARTを提案する。
• 参考スコア（独自算出の注目度）: 51.09738341305564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-autoregressive multi-step forecasting (NAF) enables time series foundation models to predict an entire future horizon in a single forward pass. Despite its strong sequence modeling capabilities, RWKV-7 exhibits long-horizon degradation in our NAF experiments. In this setup, future patches are represented as missing inputs, requiring the recurrent state to evolve across the prediction horizon without new observations. Our analysis of RWKV-7's generalized delta rule suggests a mechanism we term Placeholder Idling Decay (PID): repeated state transitions can attenuate historical information when placeholder-driven writes provide insufficient compensation. Layer-wise analysis reveals reduced state-injection norms in most layers, while transition-matrix norms remain similar between historical and prediction regions, consistent with PID. Motivated by this analysis, we propose HART, a Hybrid Attention-RWKV Time-series Foundation Model that alternates attention and RWKV blocks, combining direct access to historical tokens with recurrent temporal modeling. Controlled experiments on GIFT-Eval and TIME-Benchmark show that HART improves over pure RWKV at medium and long horizons while maintaining comparable short-horizon performance, and achieves better aggregate performance than a comparably sized pure Transformer. With 36M parameters, HART achieves long-horizon MASE comparable to Toto-2.0-1B on GIFT-Eval (0.752 vs. 0.754), using approximately 1/28 of its parameters.
• Abstract（参考訳）: 非自己回帰的多段階予測(NAF)により、時系列基礎モデルでは、将来の地平線全体を単一の前方通過で予測することができる。 RWKV-7はその強いシーケンスモデリング能力にもかかわらず、我々のNAF実験で長期劣化を示す。 この設定では、将来のパッチは欠落した入力として表現され、新しい観測なしに予測地平線を越えて再帰状態が進化する必要がある。 RWKV-7の一般化デルタルールの解析は、プレースホルダー・アイドリング・ディレイ(PID: Placeholder Idling Decay)と呼ばれるメカニズムを示唆している。 層ワイズ解析では、ほとんどの層で状態注入ノルムが減少するのに対して、遷移行列ノルムはPIDと整合した歴史的領域と予測領域の間で類似している。 この分析によって得られたHARTは、注意とRWKVブロックを交互に切り替えるハイブリッドアテンションRWKV時間系列モデルであり、過去のトークンへの直接アクセスと繰り返し時間的モデリングを組み合わせたものである。 GIFT-Eval と TIME-Benchmark の制御実験により,HART は高水平および長水平での純粋な RWKV よりも向上し,同程度の短水平性能を維持した上で,可視サイズの純変換器よりも優れた集約性能を実現していることが示された。 36Mパラメータで、HARTはGIFT-Eval(0.752対0.754)のToto-2.0-1Bに匹敵する長距離MASEを約1/28パラメータで達成している。

関連論文リスト

• FlowATC: Aircraft Trajectory Prediction via Flow Matching [39.046509366232065]
  本稿では,航路ラベルやチャート管理を伴わない,歴史的航空機軌道に特化して訓練されたフローマッチングアーキテクチャを提案する。 我々のモデルは、ネイティブで不規則なADS-Bサンプリング間隔で直接訓練される。 予測地平線により誤差は良好に低下し, 時間的劣化フィードで再トレーニングした場合, アーキテクチャが有効であることを示す。
  論文  参考訳（メタデータ） (2026-09-15T02:21:06Z)
• DecoVAE: a Lightweight Interpretable Trend-Seasonal VAE Framework for Efficient Probabilistic Time Series Forecasting [43.38565681834944]
  我々は、軽量な解釈可能なトレンドシーズンVAEフレームワークであるDecoVAEを提案する。 時系列を傾向と季節成分に分解し、ドメイン固有の帰納バイアスを適用する。 7つの実世界のベンチマークにおいて、一貫して強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-08-20T13:51:07Z)
• TFGformer: Multivariate Time Series Forecasting via Time-Frequency Graph Learning and Covariate Fusion [12.980172248250257]
  本稿では,形状認識メモリ(SAM)とRevIN正規化を統合した検索拡張予測フレームワークを提案する。 7つの公開ベンチマークの実験では、CrossRAGはパラメトリックのみのベースラインと既存の検索拡張予測手法の両方を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-31T14:24:26Z)
• VGGT-World: Transforming VGGT into an Autoregressive Geometry World Model [59.789011777899965]
  VGGT-World(VGGT-World)は、ビデオ生成を完全にサイドステップで行い、凍った幾何学的境界モデルの特徴の時間的進化を予測する幾何学世界モデルである。 VGGT-Worldは3.6～5倍高速で、トレーニング可能なパラメータはわずか0.43Bである。
  論文  参考訳（メタデータ） (2026-03-13T04:56:43Z)
• Hybrid Hidden Markov Model for Modeling Equity Excess Growth Rate Dynamics: A Discrete-State Approach with Jump-Diffusion [0.0]
  パラメトリックモデルから深層生成ネットワークへの既存のアプローチは、重み付き分布、無視可能な線形自己相関、永続的なボラティリティクラスタリングを同時に再現するのに苦労している。 本稿では,連続的過剰成長率をLaplacequantile-defined market stateに離散化するハイブリッド隠れマルコフフレームワークを提案する。 パラメータは直接遷移カウントによって推定され、Baum-Welch EMアルゴリズムをバイパスする。
  論文  参考訳（メタデータ） (2026-03-10T20:06:53Z)
• A Review of the Long Horizon Forecasting Problem in Time Series Analysis [0.0]
  長い地平線予測(LHF)問題は、過去35年ほどにわたって時系列文献に現れてきた。 ディープラーニングには、トレンド、季節性、フーリエ変換、ウェーブレット変換、不特定バイアス低減、帯域通過フィルタのバリエーションが組み込まれている。 本稿では, 時系列分解技術, 入力データ前処理, および, 性能向上のためのデータセットのウィンドウ化手法について述べる。
  論文  参考訳（メタデータ） (2025-06-15T10:49:50Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。