論文の概要: From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory
- arxiv url: http://arxiv.org/abs/2611.00450v1
- Date: Fri, 30 Oct 2026 23:05:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.40617
- Title: From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory
- Title(参考訳): ルックアップからレッスンへ: 検索した知識をパラメトリックメモリに変える
- Abstract要約: 検索したテキストをオフラインで読み取って教師のターゲットを生成するResMemを紹介する。
これにより、既存のパラメトリックメモリアプローチとは異なり、巨大なトークン表現の保存が避けられる。
ウィキペディアのサブセットでは、ResMemは教師が構築するストレージを94.7%削減している。
- 参考スコア(独自算出の注目度): 16.83825122451653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) helps large language models (LLMs) answer factual questions beyond their training data, but it adds storage and inference costs. Distilling previously retrieved information into parametric memories enables reuse without online retrieval. However, training the memory to mimic a retriever rewards accurate independent predictions, which do not necessarily improve the final output quality when combined with the LLM's existing predictions. To address this, we introduce ResMem, in which the LLM reads retrieved text offline to generate teacher targets. This design avoids storing massive token representations, unlike existing parametric memory approaches such as MLP Memory, which relies on k-nearest neighbor (kNN) datastores. Furthermore, by using the LLM as an offline teacher that reads privileged retrieved evidence alongside the input, we train a parametric memory to learn an additive logit residual. This residual aligns the predictions of a student sharing the same backbone with the teacher distribution, while self-distillation updates remain confined to the parametric memory. On a Wikipedia subset, ResMem reduces the storage retained for teacher construction by 94.7% compared with the evaluated kNN pipeline. Across five question answering datasets, ResMem raises mean token F1 from 32.83% for the frozen LLM to 34.48%. It also breaks 21% fewer of the LLM's correct answers than a kNN-trained memory. These findings validate our motivation of treating retrieval as a learning resource, with parametric memory shaped by how retrieved knowledge is used to inform the model's future predictions. Code and model weights are available at https://github.com/SSRand/From-Lookups-to-Lessons and https://huggingface.co/RandHan/ResMem-Mistral-7B-v0.3.
- Abstract(参考訳): Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)がトレーニングデータ以外の事実質問に回答するのに役立つが、ストレージと推論コストが増す。
以前検索した情報をパラメトリックメモリに蒸留することで、オンライン検索なしで再利用することができる。
しかし、レトリバーを模倣するためにメモリをトレーニングすると、正確な独立した予測が報われるため、LCMの既存の予測と組み合わせることで、最終的な出力品質が必ずしも向上するとは限らない。
これを解決するために,LLMは検索したテキストをオフラインで読み取って教師のターゲットを生成するResMemを導入する。
この設計は、k-nearest neighbor(kNN)データストアに依存するMLPメモリのような既存のパラメトリックメモリアプローチとは異なり、大量のトークン表現を保存することを避ける。
さらに、LLMをオフラインの教師として使用し、入力と並行して特権取得された証拠を読み取ることにより、パラメトリックメモリをトレーニングし、付加的なロジット残差を学習する。
この残余は、同じバックボーンを共有する学生の予測と教師の分布を一致させるが、自己蒸留の更新はパラメトリックメモリに限られる。
Wikipediaのサブセットでは、評価されたkNNパイプラインと比較して、ResMemは教師構築のために保持されるストレージを94.7%削減する。
ResMemは5つの質問に答えるデータセットで平均トークンF1を32.83%から34.48%に引き上げている。
また、kNNで訓練されたメモリよりもLLMの正しい回答の21%少ない。
これらの結果から,検索を学習資源として扱う動機は,検索した知識がモデルの将来予測にどのように使用されるかによって形づくられたパラメトリックメモリによって検証された。
コードとモデルウェイトはhttps://github.com/SSRand/From-Lookups-to-Lessonsとhttps://huggingface.co/RandHan/ResMem-Mistral-7B-v0.3で入手できる。
関連論文リスト
- TransMem: Transforming Hidden States into Memory for Large Language Models [29.656816378992414]
大規模言語モデル(LLM)エージェントは、長い相互作用履歴を通してますます機能する。
TransMemは、凍結したLCMバックボーンから再利用可能なメモリ表現に変換する。
論文 参考訳(メタデータ) (2026-07-31T05:11:04Z) - InfoMem: Training Long-Context Memory Agents with Answer-Conditioned Information Gain [26.098768400948614]
長いコンテキストタスクは、大きなコンテキストから回答関連情報を識別し保存するためにLLMを必要とする。
既存のRLベースのチャンクワイドエージェントは、スパースファイナルアンサー報酬に依存するか、メモリと検索アクションの語彙中間報酬を使用する。
本稿では,問合せ情報を用いた最終記憶ユーティリティの評価を行う,チャンクワイドメモリエージェントの学習のための報奨機構であるInfoMemを提案する。
論文 参考訳(メタデータ) (2026-06-02T08:39:03Z) - Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。
最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文 参考訳(メタデータ) (2026-05-14T20:15:22Z) - MemRerank: Preference Memory for Personalized Product Reranking [14.982376048234386]
本稿では,ユーザの購入履歴を簡潔でクエリ非依存な信号に抽出し,パーソナライズされた製品再品位を実現するための選好記憶フレームワークであるMemRerankを提案する。
2つのLCMベースのリランカによる実験では、MemRerankは、無メモリ、生の履歴、および既製のメモリベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-03-31T04:16:18Z) - MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
大きな言語モデル(LLM)は、長期化タスクにますます使われています。
現在の手法はコストと精度のトレードオフに直面している。
MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
論文 参考訳(メタデータ) (2026-03-03T02:57:38Z) - NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。
大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2026-02-26T14:35:27Z) - Memento: Fine-tuning LLM Agents without Fine-tuning LLMs [36.3424780932712]
本稿では,適応型大言語モデル(LLM)エージェントのための新しい学習パラダイムを提案する。
本手法は,メモリベースのオンライン強化学習により,低コストで連続的な適応を可能にする。
我々はエージェントモデルを,GAIA検証でトップ1に達するemphMementoというディープリサーチ環境でインスタンス化する。
論文 参考訳(メタデータ) (2025-08-22T07:25:30Z) - Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。
文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。
モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文 参考訳(メタデータ) (2025-06-13T18:08:54Z) - Rethinking LLM Memorization through the Lens of Adversarial Compression [93.13830893086681]
Webスケールデータセットでトレーニングされた大規模言語モデル(LLM)は、許容可能なデータ使用に関する重大な懸念を提起する。
ひとつ大きな疑問は、これらのモデルがすべてのトレーニングデータを"記憶する"のか、それとも、人間がどのように情報を学び、合成するかに何らかの方法で多くのデータソースを統合するのかである。
本稿では,LLMの記憶度を評価する指標として,ACR(Adversarial Compression Ratio)を提案する。
論文 参考訳(メタデータ) (2024-04-23T15:49:37Z) - RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。
既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。
本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
論文 参考訳(メタデータ) (2023-01-14T00:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。