論文の概要: TokenMem: Faithful Knowledge Injection for Frozen LLMs

• arxiv url: http://arxiv.org/abs/2607.22625v1
• Date: Wed, 17 Jun 2026 12:05:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.992218
• Title: TokenMem: Faithful Knowledge Injection for Frozen LLMs
• Title（参考訳）: TokenMem: 冷凍LLMのための忠実な知識注入
• Abstract要約: TokenMemは、凍結した大きな言語モデルに知識を注入する軽量メモリシステムである。 69-70%の知識コンプライアンス(KC)をカウンターファクトベンチマークで達成し、バニラRAGは20-52%である。 メカニスティック解析により,ゲートアダプタは明示的な監督を伴わずに,競合を意識した層固有のインジェクション戦略を学習することが明らかとなった。
• 参考スコア（独自算出の注目度）: 8.725985903499518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) enhances large language models (LLMs) with external knowledge, but suffers from knowledge conflicts: when retrieved information contradicts parametric memory, the shared self-attention pathway produces unpredictable outputs. We present TokenMem, a lightweight memory system that injects knowledge into frozen LLMs through a dedicated cross-attention channel, bypassing competition with parametric memory in the residual stream. TokenMem trains only a thin gating adapter ($\sim$3-7M parameters) via a two-phase curriculum: first learning general knowledge utilization, then strengthening faithful compliance under counterfactual knowledge. In controlled experiments on five models spanning three families (Qwen3-4B/8B/14B, LLaMA-3.1-8B, OLMo-3-7B), TokenMem achieves 69-70% Knowledge Compliance (KC) on counterfactual benchmarks, compared to 20-52% for vanilla RAG, a gap of up to 49 percentage points. Ablation studies show that the two-phase curriculum is critical: removing Phase 2 collapses KC to near-zero. Mechanistic analysis reveals that the gate adapter learns a conflict-aware, layer-specific injection strategy without explicit supervision.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、外部知識との大きな言語モデル(LLM)を強化するが、知識の衝突に悩まされる: 検索された情報がパラメトリックメモリと矛盾する場合、共有自己保持経路は予測不能な出力を生成する。 TokenMemは、専用のクロスアテンションチャネルを通じて凍結LDMに知識を注入する軽量メモリシステムであり、残差ストリームにおけるパラメトリックメモリとの競合を回避している。 TokenMemは2段階のカリキュラムを通じて、薄いゲーティングアダプタ($3-7Mのパラメータ)のみを訓練する。 3つのファミリー(Qwen3-4B/8B/14B、LLaMA-3.1-8B、OLMo-3-7B)にまたがる5つのモデル(Qwen3-4B/8B/14B、LLaMA-3.1-8B、OLMo-3-7B)の制御実験において、TokenMemは69-70%の知識コンプライアンス(KC)を達成した。 アブレーション研究では、2段階のカリキュラムが重要であり、フェーズ2はKCをほぼゼロに分解する。 メカニスティック解析により,ゲートアダプタは明示的な監督を伴わずに,競合を意識した層固有の注入戦略を学習することが明らかとなった。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• MemReranker: Reasoning-Aware Reranking for Agent Memory Retrieval [37.54115468116941]
  本報告では,Qwen3-Reranker を用いた多段 LLM 知識蒸留によるリグレードモデルファミリ MemReranker (0.6B/4B) について紹介する。 メモリ検索ベンチマークでは、MemReranker-0.6BはBGE-Rerankerを大きく上回り、オープンソースの4B/8BモデルとGPT-4o-miniをキーメトリクスでマッチングする。 MemReranker-4B はさらに 0.737 MAP を達成し、Gemini-3-Flash と同等のメトリクスを持つ一方で、推論遅延を10-20%の大型モデルで維持している。
  論文  参考訳（メタデータ） (2026-05-07T12:33:57Z)
• Before Forgetting, Learn to Remember: Revisiting Foundational Learning Failures in LVLM Unlearning Benchmarks [17.78493115982036]
  LVLM(Large Vision-Language Models)は、機密性の高い個人情報を意図せずに記憶することで、プライバシー上のリスクを引き起こす。 信頼性の高いマルチホップおよびマルチイメージ記憶ベンチマークであるReMemを紹介する。 我々はReMemがLVLMの学習行動と未学習行動の両方を診断するための厳格で信頼性の高いフレームワークを提供することを示した。
  論文  参考訳（メタデータ） (2026-05-05T13:42:31Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• Learn by Surprise, Commit by Proof [0.0]
  本稿では,自律的知識獲得のための自己学習後フレームワークを提案する。 通路が異常に高いパートーケン損失を発生させると、L SCPはそれをフラグ化し、モデルに自身の知識を明確にさせるQ&A連鎖を生成する。 学習強度は1つのパラメータ$r$で管理される。
  論文  参考訳（メタデータ） (2026-04-02T12:17:10Z)
• AttenMIA: LLM Membership Inference Attack through Attention Signals [8.170623979629953]
  我々は,変圧器モデル内部の自己注意パターンを利用してメンバシップを推定する新しいMIAフレームワークであるAttenMIAを紹介する。 注意に基づく特徴は、特に重要な低偽陽性尺度の下で、一貫してベースラインを上回ります。 また,データ抽出フレームワークにおける他のメンバシップ推論攻撃を置き換えるためにAttenMIAを用いることで,技術状況よりも優れたデータ抽出攻撃を訓練できることを示す。
  論文  参考訳（メタデータ） (2026-01-26T03:45:56Z)
• Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2 [0.0]
  我々は,MAW誘導幅の刈り取りが選択フィルタとして機能し,行動アライメントを保ちつつパラメトリック知識を減少させることを示す。 プルーニングされた構成は、エネルギー消費(J/Token)を最大で23%削減するが、単一要求レイテンシで罰則が生じる。
  論文  参考訳（メタデータ） (2025-12-27T18:09:57Z)
• Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning [49.274436951541425]
  MLLM(Multimodal Large Language Models)は優れた能力を発揮するが、プライバシーに敏感な情報を不注意に記憶することができる。 既存の未学習の手法は、しばしばモデルの一般的な画像理解性能を劣化させるため、良心的な忘れを達成できない。 本稿では, メモリ領域のメモリ領域への忘れを抑えつつ, 全体的な機能を維持するSculpted Forgetting Adapter (SMFA)を提案する。
  論文  参考訳（メタデータ） (2025-11-25T11:22:45Z)
• Hindsight Distillation Reasoning with Knowledge Encouragement Preference for Knowledge-based Visual Question Answering [55.368681418311894]
  既存の知識に基づくビジュアル質問回答 (KBVQA) 手法は、マルチモーダルな大規模言語モデル (MLLM) における暗黙的な知識をコンテキスト内学習または検索拡張生成による明示的な知識を介して利用する。 KEPO(Knowledge Encouragement Preference Optimization)を用いたHindsight Distilled Reasoning(HinD)フレームワークを提供する。 OK-VQAとA-OKVQAの実験によりHinDの有効性が検証され、7BサイズのMLLMから推論したHinDが商用モデルAPIや外部知識を使わずに優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-14T10:03:23Z)
• Memory-enhanced Retrieval Augmentation for Long Video Understanding [91.7163732531159]
  本稿では,メモリ強化型RAGベースの新しいアプローチであるMemVidを紹介する。 提案手法は,1) 全体的映像情報の記憶,2) メモリに基づくタスクの情報要求の推論,3) 情報要求に基づくクリティカルモーメントの検索,4) 最終回答を生成するための検索モーメントの抽出という4つの基本的なステップで機能する。 MemVid は LVLM 法と RAG 法に比較して, 効率と有効性を示す。
  論文  参考訳（メタデータ） (2025-03-12T08:23:32Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。