論文の概要: M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling

• arxiv url: http://arxiv.org/abs/2603.14360v1
• Date: Sun, 15 Mar 2026 12:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.76861
• Title: M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
• Title（参考訳）: M$^2$RNN: スケーラブル言語モデリングのための行列値付き非線形RNN
• Authors: Mayank Mishra, Shawn Tan, Ion Stoica, Joseph Gonzalez, Tri Dao,
• Abstract要約: 本稿では,行列値の隠蔽状態と表現的非線形状態遷移を持つアーキテクチャであるMatrix-to-Matrix RNNを紹介する。 非線形RNNの言語モデリング性能は,その状態サイズによって制限されていることを示す。 また、状態サイズ拡大機構がテンソルコアの効率的な利用を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 53.351103753419046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are highly parallel but are limited to computations in the TC$^0$ complexity class, excluding tasks such as entity tracking and code execution that provably require greater expressive power. Motivated by this limitation, we revisit non-linear Recurrent Neural Networks (RNNs) for language modeling and introduce Matrix-to-Matrix RNN (M$^2$RNN): an architecture with matrix-valued hidden states and expressive non-linear state transitions. We demonstrate that the language modeling performance of non-linear RNNs is limited by their state size. We also demonstrate how the state size expansion mechanism enables efficient use of tensor cores. Empirically, M$^2$RNN achieves perfect state tracking generalization at sequence lengths not seen during training. These benefits also translate to large-scale language modeling. In hybrid settings that interleave recurrent layers with attention, Hybrid M$^2$RNN outperforms equivalent Gated DeltaNet hybrids by $0.4$-$0.5$ perplexity points on a 7B MoE model, while using $3\times$ smaller state sizes for the recurrent layers. Notably, replacing even a single recurrent layer with M$^2$RNN in an existing hybrid architecture yields accuracy gains comparable to Hybrid M$^2$RNN with minimal impact on training throughput. Further, the Hybrid Gated DeltaNet models with a single M$^2$RNN layer also achieve superior long-context generalization, outperforming state-of-the-art hybrid linear attention architectures by up to $8$ points on LongBench. Together, these results establish non-linear RNN layers as a compelling building block for efficient and scalable language models.
• Abstract（参考訳）: トランスフォーマーは非常に並列性が高いが、TC$^0$の複雑性クラスでは計算に限られており、エンティティトラッキングやコード実行のような、表現力を必要とするタスクは除かれている。 この制限により、言語モデリングのための非線形リカレントニューラルネットワーク(RNN)を再検討し、行列値の隠れ状態と表現的非線形状態遷移を持つアーキテクチャであるMatrix-to-Matrix RNN(M$^2$RNN)を導入する。 非線形RNNの言語モデリング性能は,その状態サイズによって制限されていることを示す。 また、状態サイズ拡大機構がテンソルコアの効率的な利用を可能にすることを示す。 経験的に、M$^2$RNNはトレーニング中に見えないシーケンス長での完全な状態追跡一般化を実現する。 これらの利点は、大規模言語モデリングにも変換される。 M$^2$RNNは、7B MoEモデルで等価なGated DeltaNetハイブリッドを0.4$-$0.5$パープレキシティポイント(英語版)でパフォーマンスし、また3$\times$より小さな状態サイズを使用する。 特に、既存のハイブリッドアーキテクチャにおいて単一のリカレント層をM$^2$RNNに置き換えることによって、トレーニングスループットに最小限の影響を伴って、ハイブリッドM$^2$RNNに匹敵する精度のゲインが得られる。 さらに、単一のM$^2$RNN層を持つHybrid Gated DeltaNetモデルは、より優れたロングコンテキストの一般化を実現し、LongBench上で最大8$ポイントのハイブリットアテンションアーキテクチャよりも優れている。 これらの結果は、効率的でスケーラブルな言語モデルのための魅力的なビルディングブロックとして、非線形RNN層を確立する。

関連論文リスト

• Fixed-Point RNNs: Interpolating from Diagonal to Dense [18.06917701940596]
  リニアリカレントニューラルネットワーク(RNN)とステートスペースモデル(SSM)は、トランスフォーマーアーキテクチャにおけるシーケンス混合層としてのソフトマックスアテンションに代わる有望な代替手段となっている。 しかし、現在のモデルはチャネルワイド(対角)配列の混合に依存するため、RNNの完全な状態追跡表現性は示さない。 本稿では, 並列化可能な対角RNNの固定点としての高密度線形RNNのパラメータ化について検討する。
  論文  参考訳（メタデータ） (2025-03-13T18:50:22Z)
• Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues [65.41946981594567]
  Mamba、RWKV、GLA、mLSTM、DeltaNetは、長いシーケンスでTransformerの効率的な代替手段として登場した。 しかし、TransformerとLRNNはどちらも状態追跡に苦労しており、コード評価などのタスクではパフォーマンスを損なう可能性がある。 本研究では,Mamba と DeltaNet の固有値範囲を負の値を含むように拡張することで,状態追跡タスクの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-19T14:35:38Z)
• Hierarchically Gated Recurrent Neural Network for Sequence Modeling [36.14544998133578]
  階層的Gated Recurrent Neural Network (HGRN) と呼ばれるゲート線形RNNモデルを提案する。 言語モデリング,画像分類,長距離アリーナベンチマーク実験は,提案モデルの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2023-11-08T16:50:05Z)
• On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
  2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。 また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T06:06:47Z)
• State space models can express n-gram languages [51.823427608117626]
  我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。 我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。 n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• Asymmetric Certified Robustness via Feature-Convex Neural Networks [11.605936648692543]
  ICNNを敵ネットワークに一般化できることを示す。 実験により、ネットワークはどの競争ベースラインよりもはるかに効率的であることが示されている。
  論文  参考訳（メタデータ） (2023-02-03T19:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。