論文の概要: On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models

• arxiv url: http://arxiv.org/abs/2609.16540v1
• Date: Tue, 15 Sep 2026 02:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.308544
• Title: On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
• Title（参考訳）: ゲーティングの重要性:状態空間モデルにおける記憶と文脈学習
• Abstract要約: State Space Models (SSM) は Transformers の代替品として登場した。 我々は、このゲーティング機構がSSMにまず、重み付き「記憶」の解を学習させるという理論と実験を通して示している。 一方、ゲーティングは長い列長への一般化を改善するのにしばしば有用である。
• 参考スコア（独自算出の注目度）: 50.824624057327725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State Space Models (SSMs) have emerged as a compelling alternative to Transformers, enabling sequence modeling with constant memory and linear compute. Although SSMs exhibit reasonable performance and favorable computational characteristics, they continue to lag behind Transformers on tasks that require in-context learning and precise retrieval, slowing their adoption for large-scale language modeling. In this work, we demonstrate that both the success and failure of SSMs in these domains can be explained by studying the role of the gating mechanism, a prevalent component in modern recurrent networks. Specifically, we show through theory and experiments that this gating mechanism causes SSMs to first learn an in-weights "memorization" solution, while delaying, or even preventing, convergence to a correct in-context learning solution. Importantly, this happens even in cases where there are no fundamental limitations due to the architecture or its memory capacity. On the other hand, we find that gating is often beneficial for improving generalization to long sequence lengths. Our results illuminate the crucial role of the gating mechanism in shaping both the training dynamics and generalization of SSMs, and provide a basis for understanding and improving linear-time models.
• Abstract（参考訳）: State Space Models (SSM) はTransformerの代替として登場し、一定のメモリと線形計算によるシーケンスモデリングを可能にした。 SSMは適切な性能と良好な計算特性を示すが、文脈内学習と正確な検索を必要とするタスクではTransformerに遅れず、大規模言語モデリングへの採用が遅れている。 本研究では,これらの領域におけるSSMの成功と失敗は,現代のリカレントネットワークにおける代表的なコンポーネントであるゲーティング機構の役割を研究することによって説明できることを示す。 具体的には、このゲーティング機構により、SSMがまず「暗記」解を学習し、同時に正しい文脈内学習解を遅らせたり、あるいは妨げたり、収束させたりすることを理論や実験を通して示している。 重要なのは、アーキテクチャやメモリ容量に根本的な制限がない場合でも、これは発生します。 一方、ゲーティングは長い列長への一般化を改善するのにしばしば有用である。 本研究は, 学習力学とSSMの一般化の両面において, ゲーティング機構が果たす重要な役割を解明し, 線形時間モデルの理解と改善の基盤を提供するものである。

関連論文リスト

• Large Vision-Language Models Get Lost in Attention [51.851592109135716]
  本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。 注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
  論文  参考訳（メタデータ） (2026-05-07T04:45:52Z)
• Modular Memory is the Key to Continual Learning Agents [100.09688599754465]
  In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。 我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
  論文  参考訳（メタデータ） (2026-03-02T11:40:05Z)
• Towards Understanding What State Space Models Learn About Code [5.605881212882263]
  State Space Models (SSM) は、トランスフォーマーアーキテクチャの効率的な代替品として登場した。 近年の研究では、SSMは同様の条件下で訓練された場合、コード検索などのコード理解タスクにおいて、Transformerと一致したり、超えたりすることができることが示されている。 本稿では、SSMベースのコードモデルが実際に何を学習しているかを初めて体系的に分析し、SSMとTransformerベースのコードモデルの比較分析を行う。
  論文  参考訳（メタデータ） (2026-02-06T15:29:46Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [51.98491034847041]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• The Reasoning-Memorization Interplay in Language Models Is Mediated by a Single Direction [34.86855316803838]
  我々は、真の推論とメモリリコールのバランスを制御できるモデル残差ストリームの線形特徴セットを同定する。 これらの推論機能に介入することで、解答生成時に最も関連性の高い問題解決能力をモデルがより正確に活性化できることが示される。
  論文  参考訳（メタデータ） (2025-03-29T14:00:44Z)
• From S4 to Mamba: A Comprehensive Survey on Structured State Space Models [0.0]
  シーケンスモデリングの最近の進歩は、構造化状態空間モデル(Structured State Space Models, SSMs)の出現につながっている。 SSMは構造的再帰と状態空間表現を利用して、線形またはニア線形複雑度で優れたロングシーケンス処理を実現する。 この調査は、AIとディープラーニングにおけるSSMベースのアーキテクチャの進歩、トレードオフ、今後の方向性を詳述した、研究者や実践者の構造化ガイドとして機能する。
  論文  参考訳（メタデータ） (2025-03-22T01:55:32Z)
• Understanding and Mitigating Bottlenecks of State Space Models through the Lens of Recency and Over-smoothing [56.66469232740998]
  構造化状態空間モデル (Structured State Space Models, SSMs) は, 強い相対バイアスによって本質的に制限されていることを示す。 このバイアスにより、モデルが遠方の情報を思い出す能力が損なわれ、堅牢性の問題がもたらされる。 本研究では, 状態遷移行列の2つのチャネルをSSMで分極し, それぞれ0と1に設定し, 電流バイアスと過平滑化に同時に対処することを提案する。
  論文  参考訳（メタデータ） (2024-12-31T22:06:39Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Towards a theory of learning dynamics in deep state space models [12.262490032020832]
  状態空間モデル(SSM)は多くの長いシーケンスモデリングタスクにおいて顕著な経験的性能を示した。 この研究は、ディープステート空間モデルにおける動的学習の理論への一歩である。
  論文  参考訳（メタデータ） (2024-07-10T00:01:56Z)
• The Expressive Capacity of State Space Models: A Formal Language Perspective [0.8948475969696075]
  線形状態空間モデル(SSM)に基づくリカレントモデルは、言語モデリング(LM)において有望な性能を示した。 本稿では,変換器や従来のRNNと比較して,そのようなSSMの容量に関する包括的理論的研究を行う。
  論文  参考訳（メタデータ） (2024-05-27T17:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。