論文の概要: Defense-in-Depth for LLMs: Evaluating Memory Gates Against Activation-Induced and Memory-Induced Sycophancy

• arxiv url: http://arxiv.org/abs/2610.07403v1
• Date: Mon, 05 Oct 2026 21:16:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.667222
• Title: Defense-in-Depth for LLMs: Evaluating Memory Gates Against Activation-Induced and Memory-Induced Sycophancy
• Title（参考訳）: LLMのディフェンシブ・イン・ディープス: 記憶ゲートの活性化および記憶誘導性に対する評価
• Abstract要約: 長期記憶により、大きな言語モデルでは、対話間でパーソナライズされたコンテキストを維持することができる。 検索されたユーザ履歴は、メモリによって引き起こされる梅毒を誘発し、モデルが客観的な証拠よりも保存されたユーザ信念を優先させる。 外部メモリ処理から内部アクティベーションステアリングを分離した2倍のディフェンス・イン・ディープス・フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 0.0874967598360817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-term memory allows Large Language Models (LLMs) to maintain personalized context across interactions, but retrieved user history can induce memory-induced sycophancy, causing models to favor stored user beliefs over objective evidence. Existing defenses primarily operate on retrieved context and are rarely evaluated jointly with internal behavioral bias. We introduce a $2 \times 2$ defense-in-depth framework separating internal activation steering from external memory handling. We extract sycophancy steering directions from 100 paired prompts and evaluate four open-weight models across 10 steering coefficients and five memory-defense configurations on MemSyco-Bench (answers for all 1,550 items; defense conditions judged on a fixed 250-item subsample), with three LLM judges. Three of the five configurations are new (rewriting every memory, a Router Gate that keeps, rewrites, or drops each memory, and dropping all memory); the other two are MemSyco's baselines. Selective Router Gate filtering preserves substantially more of MemSyco's average accuracy than complete memory removal, and this separation persists when the models are steered toward sycophancy. On Llama 3.1 8B with Router Gate, mild inverse steering ($α= -1.5$) lowers judge-averaged sycophancy from 35.80% to 31.32% while average accuracy moves from 43.99% to 43.31%; this reduction has the same direction under all three judges but is not statistically significant (paired $p = 0.08$ to $0.63$ on 149 items). External memory filtering is the part of the design that holds up; our data do not show that inverse steering adds to it.
• Abstract（参考訳）: 長期記憶により、LLM(Large Language Models)は、インタラクション間でパーソナライズされたコンテキストを維持することができるが、検索されたユーザ履歴は、メモリによって引き起こされた梅毒を誘発し、モデルが客観的な証拠よりも保存されたユーザ信念を優先する。 既存の防御は、主に回収された文脈で動作し、内部の行動バイアスと共同で評価されることは滅多にない。 外部メモリ処理から内部のアクティベーションステアリングを分離する2ドルのディフェンス・イン・ディープス・フレームワークを導入する。 我々は,100組のプロンプトからサイコファシーステアリング方向を抽出し,MemSyco-Bench(全1,550項目の回答,250項目のサブサンプルで判断される防御条件)上の10個のステアリング係数と5個のメモリ保護構成の4つのオープンウェイトモデルを評価する。 5つの構成のうち3つは新しい(すべてのメモリを書き直し、ルータゲートは各メモリを保存、書き直し、またはドロップし、残りの2つはMemSycoのベースラインである)。 選択ルータゲートフィルタは、完全なメモリ除去よりもMemSycoの平均精度をかなり高く保ち、この分離は、モデルがサイコフィナンシーに向けられたときに継続する。 Llama 3.1 8B with Router Gate では、軽度の逆ステアリング (α=-1.5$) により、平均的なシコファンシーは35.80%から31.32%に低下し、平均精度は43.99%から43.31%に低下する。 外部メモリフィルタリングは、保持する設計の一部です。

関連論文リスト

• Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
  大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。 メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。 MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
  論文  参考訳（メタデータ） (2026-07-15T08:32:40Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• MemRouter: Memory-as-Embedding Routing for Long-Term Conversational Agents [20.000127976303606]
  我々は、下流の応答バックボーンからメモリの入力を分離する書き込み側メモリルータであるMemを紹介する。 Memは、12Mパラメータのみをトレーニングしながら、軽量な分類ヘッドを使用してターンを格納すべきかどうかを予測する。
  論文  参考訳（メタデータ） (2026-05-01T02:33:50Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• MemX: A Local-First Long-Term Memory System for AI Assistants [0.0]
  我々は、安定性指向の検索設計を備えたAIのためのローカルファーストの長期記憶システムであるMemXを提案する。 MemXは、libとOpenAI互換の組み込みAPI上にRustで実装されており、会話エージェントに対して永続的で検索可能な、説明可能なメモリを提供する。
  論文  参考訳（メタデータ） (2026-03-17T06:39:54Z)
• Memory-Efficient Structured Backpropagation for On-Device LLM Fine-Tuning [10.913120072779193]
  デバイス上での微調整により、大きな言語モデルのプライバシ保護によるパーソナライズが可能になる。 モバイルデバイスは、すべてのワークロード間で共有される6～12GBの厳しいメモリ制約を課す。 メモリ効率のよい構造化バックプロパゲーション(MeSP)を提案する。 MeSPはピークメモリを361MBから136MBのQwen2.5-0.5Bに減らし、これまで不可能だった微調整シナリオを実現する。
  論文  参考訳（メタデータ） (2026-02-13T16:24:33Z)
• MemR$^3$: Memory Retrieval via Reflective Reasoning for LLM Agents [29.652985606497882]
  私たちは、自律的で正確で互換性のあるエージェントシステムとして、メモリ検索を構築します。 MemR$3$は、2つの中核的なメカニズムを持つ: 1) 解答品質を最適化するために検索、反映、回答のアクションを選択するルータ; 2) 解答プロセスを透過的に描画し、証拠収集プロセスを追跡するグローバルエビデンスギャップトラッカー。
  論文  参考訳（メタデータ） (2025-12-23T10:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。