論文の概要: On the Recall Scaling Laws in Mamba: A Theoretical and Mechanistic Study via Hashing

• arxiv url: http://arxiv.org/abs/2609.07681v1
• Date: Mon, 07 Sep 2026 16:05:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.465308
• Title: On the Recall Scaling Laws in Mamba: A Theoretical and Mechanistic Study via Hashing
• Title（参考訳）: マンバにおけるリコールスケーリング法則について--ハッシュによる理論的・機械学的研究
• Abstract要約: 連想リコール(Associative Recall、AR)は、記憶内のアイテム間のリンクを学習し、検索する認知能力である。 NLPでは、Mambaのようなアーキテクチャのコンテキスト内メモリ容量を評価するベンチマークとしてARが使用される。 本稿では,マンバがリコールに用いた正確な内部アルゴリズムをリバースエンジニアリングすることを目的として,機械的解釈可能性の観点からARを探索する。
• 参考スコア（独自算出の注目度）: 71.41613782662272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Associative Recall (AR) is the cognitive ability to learn and retrieve links between items in memory. In NLP, AR is used as a benchmark for evaluating the in-context memory capacity of architectures such as Mamba, and has been found to strongly correlate with language modeling performance. This paper explores AR from the perspective of mechanistic interpretability, aiming to reverse-engineer the exact internal algorithm used by Mamba to perform recall. Our key insight is that Mamba performs recall by implicitly learning linear hash functions, and we identify the low-level circuit that enables this behavior. Building on these findings and inspired by theoretical tools in similarity-preserving hashing, such as the Johnson-Lindenstrauss lemma, we develop a theoretical framework for analyzing AR, which we term Recall Scaling Laws. Given the vocabulary size and the number of facts in context, this framework allows us to (1) predict the embedding and state dimensions required for Mamba to achieve perfect recall, (2) predict recall success probability given the model dimensions, and (3) analyze multi-layer models and multi-head SSM patterns. Empirical results show that our theoretical findings are accurate and predictive, offering insights into how AR capacity scales with vocabulary, state, embedding size, and architecture.
• Abstract（参考訳）: 連想リコール(Associative Recall、AR)は、記憶内のアイテム間のリンクを学習し、検索する認知能力である。 NLPでは、Mambaのようなアーキテクチャのコンテキスト内メモリ容量を評価するためのベンチマークとしてARが使用され、言語モデリングのパフォーマンスと強く相関している。 本稿では,マンバがリコールに用いた正確な内部アルゴリズムをリバースエンジニアリングすることを目的として,機械的解釈可能性の観点からARを探索する。 我々の重要な洞察は、Mambaは線形ハッシュ関数を暗黙的に学習することでリコールを行い、この動作を可能にする低レベル回路を特定することである。 これらの知見に基づいて、ジョンソン・リンデンシュトラウス・レムマのような類似性保存ハッシュの理論ツールから着想を得た我々は、リコールスケーリング法則(Recall Scaling Laws)と呼ばれるARを解析するための理論的枠組みを開発する。 本フレームワークでは,(1)マンバが完全リコールを達成するのに必要な埋め込みと状態次元,(2)モデル次元を考慮に入れたリコール成功確率,(3)多層モデルとマルチヘッドSSMパターンを解析できる。 実験の結果、我々の理論的な発見は正確で予測的であり、ARのキャパシティが語彙、状態、埋め込みサイズ、アーキテクチャでどのようにスケールするかについての洞察を提供する。

関連論文リスト

• Understanding LoRA as Knowledge Memory: An Empirical Analysis [20.53732426953178]
  本稿では,Low-Rank Adaptation (LoRA) をモジュール型知識メモリとして用いたパラメトリック手法について検討する。 このギャップをLoRAベースのメモリの設計空間をマッピングする最初の体系的な経験的研究を通して埋める。 以上の結果から,LORAはRAG,ICCと相補的な記憶軸として位置づけられた。
  論文  参考訳（メタデータ） (2026-03-01T13:28:57Z)
• Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning [53.983686308399676]
  Mambaは、強い経験的性能を持つ線形時間列モデルである。 単一インデックスモデル $y approx g_* (langle boldsymbolbeta, boldsymbolx rangle)$ の文脈内学習について検討する。 勾配に基づく手法で事前学習したMambaは,テスト時間特徴学習によって効率的なICLを実現することができることを示す。
  論文  参考訳（メタデータ） (2025-10-14T00:21:20Z)
• Learning Compact Representations of LLM Abilities via Item Response Theory [35.74367665390977]
  大規模言語モデル(LLM)のコンパクト表現の学習方法について検討する。 この問題は、与えられたモデルが特定のクエリに正しく答える確率を推定するものである。 これらのパラメータを共同で学習するために、モデルとクエリレベルの埋め込みを結合するMixture-of-Experts(MoE)ネットワークを導入する。
  論文  参考訳（メタデータ） (2025-10-01T12:55:34Z)
• Mechanistic evaluation of Transformers and state space models [45.59983103386498]
  言語モデリングのための状態空間モデル(SSM)は、2次アテンション変換器に代わる効率的でパフォーマンスの高い代替品である。 Associative Recall(AR)において、トランスフォーマーとベースSSMモデルのみが完全に成功することがわかった。 すべてのアーキテクチャがARと同じメカニズムを学んでおり、同じ3つのモデルがそのタスクで成功しています。
  論文  参考訳（メタデータ） (2025-05-21T04:56:09Z)
• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• From Markov to Laplace: How Mamba In-Context Learns Markov Chains [36.22373318908893]
  我々はマルコフ連鎖の文脈内学習について研究し、驚くべき現象を明らかにする。 トランスとは異なり、単層マンバでさえ、文脈内ラプラシアスムージング推定器を効率的に学習する。 これらの理論的な洞察は経験的な結果と強く一致し、マンバと最適統計推定器の間の最初の公式な関係を表す。
  論文  参考訳（メタデータ） (2025-02-14T14:13:55Z)
• MambaLRP: Explaining Selective State Space Sequence Models [18.133138020777295]
  選択状態空間列モデル(マンバモデルと呼ばれる)を用いた最近のシーケンスモデリング手法は、関心が高まりつつある。 これらのモデルは、線形時間における長いシーケンスの効率的な処理を可能にし、言語モデリングのような広範囲のアプリケーションで急速に採用されている。 現実のシナリオにおける信頼性の高い利用を促進するためには、透明性を高めることが重要です。
  論文  参考訳（メタデータ） (2024-06-11T12:15:47Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• Learning from Context or Names? An Empirical Study on Neural Relation Extraction [112.06614505580501]
  テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前) 本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。 我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
  論文  参考訳（メタデータ） (2020-10-05T11:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。