論文の概要: BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling

• arxiv url: http://arxiv.org/abs/2503.06121v1
• Date: Sat, 08 Mar 2025 08:31:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:58.859825
• Title: BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling
• Title（参考訳）: BlackGoose Rimer:大規模時系列モデリングにおける変圧器の簡易かつ高次置換としてのRWKV-7のハーネス化
• Authors: Li weile, Liu Xiao,
• Abstract要約: 時系列モデルは、大規模で複雑なデータセットを扱うためのスケーリングの課題に直面します。 メタラーニングを状態更新機構に組み込んだRWKV-7を用いた新しいソリューションを提案する。 約1.13～43.3xの性能向上と,1/23パラメータによるトレーニング時間の4.5倍の短縮を実現した。
• 参考スコア（独自算出の注目度）: 0.8397702677752039
• License:
• Abstract: Time series models face significant challenges in scaling to handle large and complex datasets, akin to the scaling achieved by large language models (LLMs). The unique characteristics of time series data and the computational demands of model scaling necessitate innovative approaches. While researchers have explored various architectures such as Transformers, LSTMs, and GRUs to address these challenges, we propose a novel solution using RWKV-7, which incorporates meta-learning into its state update mechanism. By integrating RWKV-7's time mix and channel mix components into the transformer-based time series model Timer, we achieve a substantial performance improvement of approximately 1.13 to 43.3x and a 4.5x reduction in training time with 1/23 parameters, all while utilizing fewer parameters. Our code and model weights are publicly available for further research and development at https://github.com/Alic-Li/BlackGoose_Rimer.
• Abstract（参考訳）: 時系列モデルは、大規模で複雑なデータセットを扱うためのスケーリングにおいて、大きな言語モデル(LLM)によって達成されるスケーリングと同様に、大きな課題に直面します。 時系列データのユニークな特徴とモデルスケーリングの計算要求は革新的なアプローチを必要とする。 研究者らはこれらの課題に対処するためにトランスフォーマー、LSTM、GRUなどの様々なアーキテクチャを探索してきたが、その状態更新機構にメタラーニングを組み込んだRWKV-7を用いた新しいソリューションを提案する。 RWKV-7のタイムミックスとチャネルミックスコンポーネントをトランスフォーマーベースの時系列モデルTimerに統合することにより、約1.13から43.3倍の性能向上と、1/23パラメータによるトレーニング時間の4.5倍の短縮を実現し、パラメータの削減を実現した。 コードとモデルの重み付けはhttps://github.com/Alic-Li/BlackGoose_Rimer.comでさらなる研究と開発のために公開されています。

関連論文リスト

• A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks [25.961645453318873]
  線形時間推論の複雑さと自然列長外挿能力を備えたxLSTMを用いたLRAM(Large Recurrent Action Model)を提案する。 6つのドメインから432のタスクを実験したところ、LRAMはパフォーマンスとスピードの点でTransformerと良好に比較できることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T17:55:47Z)
• TIMBA: Time series Imputation with Bi-directional Mamba Blocks and Diffusion models [0.0]
  時間指向変換器を状態空間モデル(SSM)に置き換えることを提案する。 我々は、拡張表現を実現するために、SSM、グラフニューラルネットワーク、ノード指向変換器を統合するモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-08T11:10:06Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• MambaVT: Spatio-Temporal Contextual Modeling for robust RGB-T Tracking [51.28485682954006]
  本研究では,マンバをベースとした純フレームワーク(MambaVT)を提案する。 具体的には、長距離クロスフレーム統合コンポーネントを考案し、ターゲットの外観変化にグローバルに適応する。 実験では、RGB-TトラッキングのためのMambaのビジョンの可能性が示され、MambaVTは4つの主要なベンチマークで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-08-15T02:29:00Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix [7.3758245014991255]
  Transformerベースのモデルのコアコンポーネントとしての自己保持機構は、大きな可能性を秘めている。 本稿では,Surrogate Attention Blocks (SAB) とSurrogate Feed-Forward Neural Network Blocks (SFB) を統合してトランスフォーマーモデルを強化する新しいアーキテクチャフレームワークを提案する。 このフレームワークは、自己注意層とフィードフォワード層をSABとSFBで置き換えることで、時間と空間の複雑さを軽減します。
  論文  参考訳（メタデータ） (2024-05-21T02:37:47Z)
• Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
  マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-04T20:00:45Z)
• Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
  本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。 事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。 多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
  論文  参考訳（メタデータ） (2024-02-04T06:55:55Z)
• Persistence Initialization: A novel adaptation of the Transformer architecture for Time Series Forecasting [0.7734726150561088]
  時系列予測は多くの実世界の応用において重要な問題である。 本稿では,時系列予測のタスクに着目したトランスフォーマーアーキテクチャの新たな適応を提案する。 ReZero正規化とロータリー位置符号化を備えたデコーダトランスを用いるが、この適応は任意の自己回帰型ニューラルネットワークモデルに適用できる。
  論文  参考訳（メタデータ） (2022-08-30T13:04:48Z)
• Space-time Mixing Attention for Video Transformer [55.50839896863275]
  本稿では,ビデオシーケンス内のフレーム数と線形にスケールする複雑性をビデオトランスフォーマーモデルとして提案する。 我々は,最も人気のあるビデオ認識データセットに対して,認識精度が非常に高いことを実証した。
  論文  参考訳（メタデータ） (2021-06-10T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。