論文の概要: Context-Gated Associative Retrieval: From Theory to Transformers

• arxiv url: http://arxiv.org/abs/2605.10970v1
• Date: Fri, 08 May 2026 18:44:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.267662
• Title: Context-Gated Associative Retrieval: From Theory to Transformers
• Title（参考訳）: 文脈付き連想検索:理論からトランスフォーマーへ
• Authors: Moulik Choraria, Argyrios Gerogiannis, Vidhata Jayaraman, Ankur Mani, Lav R. Varshney,
• Abstract要約: 本稿では,2段階の連想型メモリアーキテクチャを提案する。 本システムでは, 直接的コンテキストバイアスと2次検索ゲートフィードバックループの両方により, 結果の検索状態が駆動されることを実証する。
• 参考スコア（独自算出の注目度）: 13.130942295191224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hopfield networks and their generalizations have established deep connections among biological associative memories, statistical physics, and transformers. Yet most models treat retrieval as a fixed query-to-memory mapping, ignoring the role of external context in recall. In this work, we propose a two-stage associative memory architecture, wherein a context-gate subcircuit reshapes the retrieval energy landscape before and during recall. We show theoretically that context gating increases inter-memory separation while inducing sparsity, translating into exponential improvements in retrieval. Crucially, we prove that the system admits a unique self-consistent fixed point, revealing that the resulting retrieval state is driven by both a direct contextual bias and a second-order retrieval-gate feedback loop. We then bridge this theory to transformers; specifically, we evaluate a first-order approximation on Llama-3, confirming that in-context learning acts as context-gated retrieval. Native dynamics mirror our theory: context localizes a memory subspace, enabling the zero-shot query to cleanly discriminate. Ultimately, this framework provides a mechanistic link between associative memory theory and LLM phenomenology.
• Abstract（参考訳）: ホップフィールドネットワークとその一般化は、生物学的連想記憶、統計物理学、トランスフォーマーの間で深いつながりを確立してきた。 しかし、ほとんどのモデルは検索を固定されたクエリからメモリへのマッピングとして扱い、リコールにおける外部コンテキストの役割を無視している。 本研究では,2段階の連想型メモリアーキテクチャを提案する。 理論的には、文脈ゲーティングはパリティを誘導しながらメモリ間の分離を増大させ、検索の指数的な改善に変換することを示す。 重要なこととして,本システムは一意の自己一貫性のある固定点を認め,結果の検索状態が直接的文脈バイアスと2次検索ゲートフィードバックループの両方によって駆動されることを明らかにする。 次に、この理論を変換器にブリッジし、特にLlama-3上の一階近似を評価し、文脈付き学習が文脈付き検索として機能することを確認する。 コンテキストはメモリサブスペースをローカライズし、ゼロショットクエリがきれいに識別できるようにする。 最終的に、このフレームワークは連想記憶理論とLLM現象学の機械的リンクを提供する。

関連論文リスト

• Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
  RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。 それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。 一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-10T06:31:44Z)
• Memory for Autonomous LLM Agents:Mechanisms, Evaluation, and Emerging Frontiers [0.42061757959666934]
  大きな言語モデル(LLM)エージェントは、単一のコンテキストウィンドウが小さすぎて何が起きているのかをキャプチャできないような環境で、ますます運用される。 メモリはステートレステキストジェネレータを真に適応的なエージェントに変える。 この調査は、メモリがどのように設計され、実装され、現代のLCMベースのエージェントで評価されるかという構造化された説明を提供する。
  論文  参考訳（メタデータ） (2026-03-08T15:08:01Z)
• A Dynamical Theory of Sequential Retrieval in Input-Driven Hopfield Networks [0.0]
  この研究はホップフィールドネットワークにおけるシーケンシャル推論の理論を発展させる。 我々は、利得閾値、逃避時間、崩壊状態を含む、自己持続型メモリ遷移の明確な条件を導出する。
  論文  参考訳（メタデータ） (2026-03-03T17:54:36Z)
• In-context denoising with one-layer transformers: connections between attention and associative memory retrieval [20.076525507944776]
  注目型アーキテクチャと高密度連想型メモリネットワークとの接続を洗練させるタスクであるインコンテキストデノベーションを導入する。 理論上, 実験上, ある制限された復調問題を単層変圧器でも最適に解けることを示す。
  論文  参考訳（メタデータ） (2025-02-07T18:48:25Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• Memory-Based Semantic Parsing [79.48882899104997]
  文脈依存型セマンティック解析のためのメモリベースモデルを提案する。 逐次的ユーザ発話の累積的意味を維持することにより,メモリ管理を行うコンテキストメモリコントローラを学習する。
  論文  参考訳（メタデータ） (2021-09-07T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。