論文の概要: Cross-Model Memory Transfer via Target-Side Reader Adaptation
- arxiv url: http://arxiv.org/abs/2608.17050v2
- Date: Wed, 19 Aug 2026 07:30:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 13:35:39.236356
- Title: Cross-Model Memory Transfer via Target-Side Reader Adaptation
- Title（参考訳）: ターゲット側リーダー適応によるクロスモデルメモリ転送
- Authors: Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji,
- Abstract要約: 大きな言語モデルにおける知識の使用を改善する方法は、一般的に2つのレギュラーに分類される。
非パラメトリック検索は、外部知識への柔軟なアクセスを提供するが、検索遅延、コンテキストオーバーヘッド、バックボーンとの浅い統合のみを追加する。
パラメトリック適応は推論時に効率的だが、知識をモデルの重みと絡めて、更新、監査、転送が困難になる。
学習した情報を外部のアドレス可能なテーブルに格納するが、そのテーブルを小さな学習読者を通じて消費する。
- 参考スコア（独自算出の注目度）: 11.263551954316348
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Methods for improving knowledge use in large language models typically fall into two regimes. Non-parametric retrieval offers flexible access to external knowledge, but adds retrieval latency, context overhead, and only shallow integration with the backbone. Parametric adaptation is efficient at inference time, but entangles knowledge with model weights and can be hard to update, audit, or transfer. Engram-style hashed memory occupies a middle regime: it stores learned information in an external, addressable table, yet consumes that table through a small learned reader. This raises a basic question: when such a memory is moved across backbones, what matters more, the frozen memory itself or the target-side reader? We study this question through cross-model frozen-memory extraction, in which a memory trained on a source model is frozen and attached to a different target model, with only a lightweight reader trained. Ablations show that learned memory content and correct addressing both matter, but the transferred table becomes useful only through a reader aligned to the target model. In downstream question answering tasks, a dual-layer, four-branch reader nearly closes the gap between same-model and cross-model reuse, achieving an average score of 38.8 under our controlled evaluation protocol. Moreover, when the provider reader is directly compatible with the target interface, the frozen artifact can provide substantial utility without target-side training, while optional reader adaptation yields further improvement. These results suggest that Engram can serve as a reusable external knowledge artifact, provided that the target has access to a compatible reader interface; target-side adaptation can further improve alignment when direct reader reuse is insufficient.
- Abstract（参考訳）: 大きな言語モデルにおける知識の使用を改善する方法は、一般的に2つのレギュラーに分類される。
非パラメトリック検索は、外部知識への柔軟なアクセスを提供するが、検索遅延、コンテキストオーバーヘッド、バックボーンとの浅い統合のみを追加する。
パラメトリック適応は推論時に効率的だが、知識をモデルの重みと絡めて、更新、監査、転送が困難になる。
学習した情報を外部のアドレス可能なテーブルに格納するが、そのテーブルを小さな学習読者を通じて消費する。
このようなメモリがバックボーンを横切ると、凍結したメモリ自体やターゲット側のリーダが重要なのでしょうか?
我々は、ソースモデルでトレーニングされたメモリを、異なるターゲットモデルに凍結してアタッチするクロスモデルフリーズメモリ抽出を通して、この問題を考察する。
アブレーションは、学習したメモリの内容と両方の問題に対する正しい対応を示すが、転送されたテーブルは、ターゲットモデルに整列したリーダーを通してのみ有用となる。
下流の質問応答タスクでは、二層4分岐読影機が同モデルと異モデル間のギャップを埋め、制御された評価プロトコルで平均38.8のスコアを得る。
さらに、プロバイダリーダがターゲットインターフェースと直接互換性がある場合、凍結されたアーティファクトは、ターゲットサイドのトレーニングなしで実質的なユーティリティを提供でき、オプションのリーダ適応はさらなる改善をもたらす。
これらの結果から,Engramは,対象が互換性のあるリーダインターフェースにアクセス可能であることを前提として,再利用可能な外部知識アーティファクトとして機能することが示唆された。
関連論文リスト
- Memory Grafting: Scaling Language Model Pre-training via Offline Conditional Memory [65.39827296429527]
条件付きメモリのスケーリングは、言語モデルのキャパシティを向上する有望な方法である。
Engramのような既存の方法は、事前トレーニング中にスクラッチから大きなメモリテーブルを学習する。
本研究では, グラフトモデルから凍結した隠蔽状態を条件n-gramメモリとして利用する条件記憶スケーリング手法であるメモリグラフトを提案する。
論文 参考訳（メタデータ） (2026-05-20T09:35:04Z) - MemReader: From Passive to Active Extraction for Long-Term Agent Memory [31.356554918209568]
本稿では,エージェントシステムにおけるアクティブな長期メモリ抽出のためのMemReaderファミリについて紹介する。
MemReader-4Bは、行動前の情報値、参照あいまいさ、完全性を明確に評価する。
MemReaderはMemOSに統合され、現実世界のアプリケーションにデプロイされている。
論文 参考訳（メタデータ） (2026-04-09T06:47:17Z) - Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval [59.295767860331004]
RF-Memは、親しみやすい不確実性誘導デュアルパスメモリレトリバーである。
それは、人間のようなデュアルプロセス認識をレトリバーに埋め込む。
一定の予算とレイテンシの制約の下で、ワンショット検索とフルコンテキスト推論を一貫して上回る。
論文 参考訳（メタデータ） (2026-03-10T06:31:44Z) - Language Model Memory and Memory Models for Language [0.0]
隠れ層ベクトル埋め込みに入力情報を格納する機械学習モデルの能力について検討する。
言語モデルの埋め込みは通常、データや計算スケールに関係なく、比較的少ない入力情報を含む。
対照的に、入力再生のために訓練されたオートエンコーダの埋め込みは、ほぼ完璧なメモリ形成を可能にする。
論文 参考訳（メタデータ） (2026-02-13T21:16:10Z) - MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval [25.68006224976726]
メモリメカニズムはLLMベースのエージェントの中核的なコンポーネントであり、長期のコンテキスト上での推論と知識発見を可能にする。
既存のエージェントメモリシステムは通常、密結合した検索手法で分離されたパラダイムで設計される。
MemAdapterは、エージェントメモリパラダイム間の高速アライメントを可能にするメモリ検索フレームワークである。
論文 参考訳（メタデータ） (2026-02-09T08:09:25Z) - WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。
更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。
記憶のギャップを埋めるためにWISEを提案する。
論文 参考訳（メタデータ） (2024-05-23T16:35:52Z) - Cross-Modal Adapter for Vision-Language Retrieval [60.59577149733934]
パラメータ効率の伝達学習のためのクロスモーダル適応器を提案する。
アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。
提案手法には,(1)微調整パラメータの大部分の削減,(2)トレーニング時間の短縮,(3)事前学習パラメータの修正,という3つの特長がある。
論文 参考訳（メタデータ） (2022-11-17T16:15:30Z) - Video Object Segmentation with Episodic Graph Memory Networks [198.74780033475724]
セグメント化モデルを更新する学習」という新しいアイデアに対処するために,グラフメモリネットワークが開発された。
我々は、完全に連結されたグラフとして構成されたエピソードメモリネットワークを利用して、フレームをノードとして保存し、エッジによってフレーム間の相関をキャプチャする。
提案したグラフメモリネットワークは、一発とゼロショットの両方のビデオオブジェクトセグメンテーションタスクをうまく一般化できる、巧妙だが原則化されたフレームワークを提供する。
論文 参考訳（メタデータ） (2020-07-14T13:19:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。