論文の概要: Complementary Roles of Activation and Parametric Memory in Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2609.28250v1
• Date: Wed, 23 Sep 2026 15:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.08497
• Title: Complementary Roles of Activation and Parametric Memory in Few-Shot Learning
• Title（参考訳）: ファウショット学習におけるアクティベーションとパラメトリック記憶の相補的役割
• Abstract要約: 制御実験による数ショット学習における記憶の役割について検討する。 一方、パラメトリックメモリはタスク学習におけるアクティベーションメモリを常に上回っているわけではない。
• 参考スコア（独自算出の注目度）: 35.564803794236774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: At test time, large language models (LLMs) can encode historical information in activation memory (i.e., KV caches) and parametric memory (i.e., updated parameters). While activation memory is generally considered effective for factual recall and parametric memory for learning new tasks, their interplay remains unclear. In this work, we systematically investigate the role of memory in few-shot learning through controlled experiments. We find that activation memory is superior for recalling facts, whereas parametric memory does not consistently outperform activation memory in task learning. Moreover, our experiments show that the composite task, Conditional Arithmetic, requires the synergy of both memory types. Through neuron-level analysis, we find that the model activates distinct sets of neurons when accessing the same historical information through activation versus parametric memory. When both memory types are combined, the model recruits neurons from both sets, which is crucial for solving Conditional Arithmetic. These findings suggest that neither memory mechanism alone is sufficient for this composite task, highlighting the importance of their collaboration.
• Abstract（参考訳）: テスト時に、大きな言語モデル(LLM)は、履歴情報をアクティベーションメモリ(KVキャッシュ)とパラメトリックメモリ(更新パラメータ)にエンコードすることができる。 アクティベーションメモリは、一般的に、新しいタスクを学習するために、ファクトリコールやパラメトリックメモリに有効であると考えられているが、それらの相互作用はいまだに不明である。 本研究では,制御実験を通した数ショット学習における記憶の役割を体系的に検討する。 一方、パラメトリックメモリはタスク学習におけるアクティベーションメモリを常に上回っているわけではない。 さらに, コンディショナル・アリートメティックという複合タスクでは, 両方のメモリタイプがシナジーを必要とすることを示した。 ニューロンレベルの解析により、同じ履歴情報にアクセスする場合、このモデルがパラメトリックメモリとアクティベーションを介して異なるニューロン集合を活性化することがわかった。 両方のメモリタイプを組み合わせると、モデルが両方のセットからニューロンをリクルートする。 これらの結果から,この複合作業にはメモリ機構だけでは不十分であることが示唆され,協調作業の重要性が強調された。

関連論文リスト

• Benchmarking local Hebbian learning rules for memory storage and prototype extraction [0.0]
  連想メモリ(英: Associative memory)は、コンピュータ科学や情報処理において重要なコンポーネント機能である。 非モジュラリカレントネットワークとモジュールリカレントネットワークで使用される7つのヘビーン学習規則の連想記憶関数をベンチマークする。
  論文  参考訳（メタデータ） (2026-05-01T20:15:32Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• Evaluating Long-Term Memory for Long-Context Question Answering [100.1267054069757]
  質問応答タスクにアノテートした合成長文対話のベンチマークであるLoCoMoを用いて,メモリ拡張手法の体系的評価を行う。 以上の結果から,メモリ拡張アプローチによりトークン使用率が90%以上削減され,競争精度が向上した。
  論文  参考訳（メタデータ） (2025-10-27T18:03:50Z)
• ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory [57.517214479414726]
  ReasoningBankは、エージェントの自己判断の成功と失敗の経験から一般化可能な推論戦略を抽出するメモリフレームワークである。 テスト時には、エージェントがReasoningBankから関連する記憶を取得してそのインタラクションを知らせ、新しい学習を統合することで、時間が経つにつれてより有能になる。 本稿では,エージェントのインタラクションエクスペリエンスをスケールアップすることにより,学習プロセスの高速化と多様化を図るメモリ対応テストタイムスケーリング(MaTTS)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T17:51:03Z)
• Multiple Memory Systems for Enhancing the Long-term Memory of Agent [9.43633399280987]
  MemoryBankやA-MEMといった既存の手法は、記憶されているメモリの質が劣っている。 我々は認知心理学理論にインスパイアされた多重記憶システムを設計した。
  論文  参考訳（メタデータ） (2025-08-21T06:29:42Z)
• Memorization and Knowledge Injection in Gated LLMs [8.305942415868042]
  大規模言語モデル(LLM)は、現在、シーケンシャルに新しい記憶を追加し、新しい知識を統合するのに苦労している。 Gated LLM (MEGa) に埋め込まれたメモリは、イベントメモリを直接 LLM の重みに注入する。 推論中、ゲーティング機構は、クエリの埋め込みとストアドメモリの埋め込みとをマッチングすることで、関連するメモリ重みを活性化する。
  論文  参考訳（メタデータ） (2025-04-30T00:28:32Z)
• Memory Layers at Scale [67.00854080570979]
  この研究はメモリ層を概念実証以上のものにし、現代の規模でその有用性を証明している。 ダウンストリームタスクでは、改善されたメモリ層で強化された言語モデルは、予算の2倍以上の高密度モデルよりも優れており、計算とパラメータの両方にマッチする場合の熟練モデルの混合も優れている。 最大128Bのメモリパラメータを持つスケーリング法則を1兆トークンまで事前訓練し,最大8Bパラメータを持つベースモデルと比較した,完全な並列化可能なメモリレイヤの実装を提供する。
  論文  参考訳（メタデータ） (2024-12-12T23:56:57Z)
• MADial-Bench: Towards Real-world Evaluation of Memory-Augmented Dialogue Generation [15.64077949677469]
  メモリ拡張対話システム(MADS)の有効性を評価するための新しいメモリ拡張対話ベンチマーク(MADail-Bench)を提案する。 このベンチマークは2つのタスクを別々に評価する: メモリ検索とメモリ認識は、パッシブとプロアクティブの両方のメモリリコールデータを組み込んだものである。 このベンチマークにおける最先端の埋め込みモデルと大規模言語モデルの結果は、さらなる進歩の可能性を示している。
  論文  参考訳（メタデータ） (2024-09-23T17:38:41Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。