論文の概要: A Parametric Memory Head for Continual Generative Retrieval
- arxiv url: http://arxiv.org/abs/2604.23388v1
- Date: Sat, 25 Apr 2026 17:38:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.311463
- Title: A Parametric Memory Head for Continual Generative Retrieval
- Title（参考訳）: 連続生成検索のためのパラメトリックメモリヘッド
- Abstract要約: 生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
- 参考スコア（独自算出の注目度）: 52.66674234249913
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative information retrieval (GenIR) consolidates retrieval into a single neural model that decodes document identifiers (docids) directly from queries. While this model-as-index paradigm offers architectural simplicity, it is poorly suited to dynamic document collections. Unlike modular systems, where indexes are easily updated, GenIR's knowledge is parametrically encoded in its weights; consequently, standard adaptation methods such as full and parameter-efficient fine-tuning can induce catastrophic forgetting. We show that sequential adaptation improves retrieval on newly added documents but substantially degrades performance on earlier slices, exposing a pronounced stability-plasticity trade-off. To address this, we propose post-adaptation memory tuning (PAMT), a memory-only stabilization stage that augments an adapted model with a modular parametric memory head (PMH). PAMT freezes the backbone and attaches a product-key memory with fixed addressing. During prefix-trie constrained decoding, decoder hidden states sparsely query PMH to produce residual corrections in hidden space; these corrections are mapped to score adjustments via the frozen output embedding matrix, computed only over trie-valid tokens. This guides docid generation while keeping routing and backbone parameters fixed. To limit cross-slice interference, PAMT updates only a fixed budget of memory values selected using decoding-time access statistics, prioritizing entries frequently activated by the current slice and rarely used in prior sessions. Experiments on MS MARCO and Natural Questions under sequential, disjoint corpus increments show that PAMT substantially improves retention on earlier slices with minimal impact on retrieval performance for newly added documents, while modifying only a sparse subset of memory values per session.
- Abstract（参考訳）: 生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
このモデル・アズ・インデックスのパラダイムはアーキテクチャの単純さを提供するが、動的なドキュメントコレクションには適していない。
インデックスが容易に更新されるモジュラーシステムとは異なり、GenIRの知識はその重みでパラメトリックに符号化されている。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は大幅に低下し、安定性と塑性のトレードオフが明らかになることを示す。
これを解決するために,モジュール型パラメトリックメモリヘッド(PMH)を用いた適応モデルを強化するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
PAMTはバックボーンを凍結し、固定アドレスで製品キーメモリをアタッチする。
プレフィックス・トリー制約デコード中、デコーダの隠蔽状態はPMHをスパースクエリして隠れ空間の残差補正を生成する。
これはルーティングとバックボーンパラメータの固定を維持しながら、ドシデント生成をガイドする。
クロススライス干渉を制限するため、PAMTはデコード時間アクセス統計を用いて選択されたメモリ値の固定予算のみを更新し、現在のスライスによって頻繁に起動されるエントリを優先順位付けする。
MS MARCOとNatural Questionsの逐次的不連続コーパスインクリメントによる実験により,PAMTは,セッション毎のメモリ値の少ないサブセットだけを変更しつつ,新たに追加された文書の検索性能に最小限の影響を伴って,以前のスライスにおける保持性を大幅に向上することが示された。
関連論文リスト
- Embedding Surgery: Localized Updates for Adaptive Ranking Correction in Dense Retrieval [7.977161233209229]
密集検索における適応的ランキング補正のための軽量なアプローチであるエンケベディング手術を導入する。
この方法は、クエリ時に選択されたドキュメントの埋め込みに対して、ローカル化され最小限のアップデートを適用し、編集フィードバックやユーザインタラクション、あるいは大きな言語モデルからの擬似ラベルによってガイドされる。
埋め込み手術を標準の高密度検索パイプラインに統合し,TREC Deep Learning, TREC Robust, TREC CAsT, MS MARCOベンチマークで評価する。
論文 参考訳（メタデータ） (2026-09-04T13:06:26Z) - InjecMEM: Memory Injection Attack on LLM Agent Memory Systems [31.104106193922956]
InjecMEMは、新しいメモリ注入攻撃パラダイムである。
我々は、レトリバー非依存のアンカーと対向コマンドでインジェクションを製作する。
複数のメモリシステムとバックボーンモデルにまたがって評価を行う。
論文 参考訳（メタデータ） (2026-08-24T16:37:50Z) - Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。
本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
論文 参考訳（メタデータ） (2026-08-24T13:56:01Z) - Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。
統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。
これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
論文 参考訳（メタデータ） (2026-08-15T03:29:48Z) - InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories [6.141047838371132]
InduceKVは、選択したトレーニングプレフィックスを注目に値するメモリエントリとして格納する検索ベースの方法である。
InduceKVはPEFT, MoE, replay, prompt-retrievalベースラインを一致したメモリ予算下で一貫して改善することを示す。
論文 参考訳（メタデータ） (2026-07-02T10:45:28Z) - Sparse Prefix Caching for Hybrid and Recurrent LLM Serving [0.7284556903703034]
重なり合う深さの分布の下で,スパースプレフィックスキャッシングをチェックポイント配置として定式化する。
リクエストが非自明なプレフィックスを共有する場合、実世界のデータ上で標準非対称性によって追跡されるフロンティアを一貫して改善することを示す。
正確な出力を保持し、リカレント計算自体を変更したり、新しいリカレント更新カーネルを必要としたりしない。
論文 参考訳（メタデータ） (2026-04-17T09:24:58Z) - Improving Sparse Memory Finetuning [6.491055956716639]
大規模言語モデル(LLM)は通常、トレーニング後に静的になるが、現実のアプリケーションは既存の能力を劣化させることなく、新しい知識への継続的な適応を必要とする。
完全な微調整やパラメータ効率の手法のようなモデル更新の標準的なアプローチは、基本的なトレードオフに直面します。
Sparse Memory Finetuning (SMF)は、明示的なメモリ層内のパラメータの小さなサブセットにアップデートをローカライズすることで、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-04-06T23:16:10Z) - TS-Memory: Plug-and-Play Memory for Time Series Foundation Models [63.21390142212087]
Time Series Foundation Models (TSFM) は大規模な事前訓練を通じて強力なゼロショット予測を実現する。
パラメトリック適応は破滅的な忘れを招き、非パラメトリック検索は予測を改善するが、データストア検索によってレイテンシが高くなる。
本稿では, TSFM を拡張した軽量メモリアダプタ TS-Memory としてParametric Memory Distillation を提案し,実装する。
論文 参考訳（メタデータ） (2026-02-12T04:16:19Z) - MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。
我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。
MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
論文 参考訳（メタデータ） (2025-06-09T16:16:42Z) - Adaptive Additive Parameter Updates of Vision Transformers for Few-Shot Continual Learning [0.0]
FSCIL(Few-shot class incremental learning)は、最初にベースクラスの堅牢なデータセット上でモデルをトレーニングし、連続したセッションでそれを漸進的に適応することによって、この問題に対処する。
このアプローチは、制限された新しいデータに過度に適合する傾向があり、全体的なパフォーマンスを損なうとともに、忘れを悪化させる可能性がある。
パラメータ効率のよい加算更新を付加した凍結型ビジョントランスフォーマー(ViT)バックボーンを利用する新しいFSCILフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-11T21:17:30Z) - DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。
新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。
文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
論文 参考訳（メタデータ） (2022-12-19T18:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。