論文の概要: Memory Retrieval in Transformers: Insights from The Encoding Specificity Principle

• arxiv url: http://arxiv.org/abs/2601.20282v1
• Date: Wed, 28 Jan 2026 05:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.790123
• Title: Memory Retrieval in Transformers: Insights from The Encoding Specificity Principle
• Title（参考訳）: 変圧器のメモリ検索:符号化特異性原理からの考察
• Authors: Viet Hung Dinh, Ming Ding, Youyang Qu, Kanchana Thilakarathna,
• Abstract要約: 本研究では,注目層によってインスタンス化される記憶機構について検討する。 キーは、インデックス候補メモリトレース、アテンションキュートレース類似性、およびエンコードされたコンテンツを運ぶ。 このキーワード-as-cues仮説の収束する証拠を提供する。
• 参考スコア（独自算出の注目度）: 12.760164795953989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While explainable artificial intelligence (XAI) for large language models (LLMs) remains an evolving field with many unresolved questions, increasing regulatory pressures have spurred interest in its role in ensuring transparency, accountability, and privacy-preserving machine unlearning. Despite recent advances in XAI have provided some insights, the specific role of attention layers in transformer based LLMs remains underexplored. This study investigates the memory mechanisms instantiated by attention layers, drawing on prior research in psychology and computational psycholinguistics that links Transformer attention to cue based retrieval in human memory. In this view, queries encode the retrieval context, keys index candidate memory traces, attention weights quantify cue trace similarity, and values carry the encoded content, jointly enabling the construction of a context representation that precedes and facilitates memory retrieval. Guided by the Encoding Specificity Principle, we hypothesize that the cues used in the initial stage of retrieval are instantiated as keywords. We provide converging evidence for this keywords-as-cues hypothesis. In addition, we isolate neurons within attention layers whose activations selectively encode and facilitate the retrieval of context-defining keywords. Consequently, these keywords can be extracted from identified neurons and further contribute to downstream applications such as unlearning.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための説明可能な人工知能(XAI)は、多くの未解決の疑問を抱え、発展途上である。 近年のXAIの進歩はいくつかの洞察を提供してきたが、トランスフォーマーベースのLSMにおける注意層の役割は未解明のままである。 本研究では,注意層によってインスタンス化される記憶機構について検討し,人間の記憶のキューに基づく検索とトランスフォーマーの注意を関連づける心理学や計算心理言語学の先行研究について考察した。 このビューでは、検索コンテキストをエンコードするクエリ、キーインデックス候補メモリトレース、注意重みがキュートレース類似性を定量化し、その値が符号化されたコンテンツを持ち、メモリ検索に先行し、容易なコンテキスト表現を共同で構築できるようにする。 Encoding Specificity Principleによって導かれ、検索の初期段階で使用されるキューがキーワードとしてインスタンス化されるという仮説を立てる。 このキーワード-as-cues仮説の収束する証拠を提供する。 さらに、アクティベーションが選択的にエンコードされるアテンション層内のニューロンを分離し、文脈定義キーワードの検索を容易にする。 その結果、これらのキーワードは特定されたニューロンから抽出され、アンラーニングのような下流のアプリケーションにさらに貢献することができる。

関連論文リスト

• The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
  インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。 明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。 エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
  論文  参考訳（メタデータ） (2026-01-14T03:24:08Z)
• Cognitive Weave: Synthesizing Abstracted Knowledge with a Spatio-Temporal Resonance Graph [2.800801614127705]
  本稿では,多層動的共鳴グラフ(GSTR)を中心としたメモリフレームワークであるCognitive Weaveを紹介する。 GSTRはセマンティック・リッチ・インサイト・パーティクル(IP)として情報を管理し、専用のセマンティック・オーラル・インタフェース(ISO)を通じて共振鍵、シグニケータ、状況インプリントを付加する。 Cognitive Weaveの重要なコンポーネントは認知プロセスである。これは、高レベルの知識構造を凝縮した洞察集約(AsI)の合成を含む。
  論文  参考訳（メタデータ） (2025-06-09T18:00:46Z)
• If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation? [3.757103053174534]
  本研究では,トランスフォーマー文法(TG)の注意機構が,人間の記憶検索の認知モデルとして機能するかどうかを検討する。 実験により,TGの注意力は,バニラ変圧器と比較して,セルフペースト読影時間において優れた予測力を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-17T05:58:25Z)
• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
  注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。 これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。 大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
  論文  参考訳（メタデータ） (2025-02-03T17:47:03Z)
• A Comparison of Temporal Encoders for Neuromorphic Keyword Spotting with Few Neurons [0.11726720776908518]
  SNNにおける時間的エンコーディングと特徴抽出のための2つの神経計算要素について検討した。 リソース効率の良いキーワードスポッティングアプリケーションは、これらのエンコーダを使用することで恩恵を受けることができるが、時間定数と重み付けを学習する手法をさらに研究する必要がある。
  論文  参考訳（メタデータ） (2023-01-24T12:50:54Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。