論文の概要: The Model Agreed, But Didn't Learn: Diagnosing Surface Compliance in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.05995v1
• Date: Tue, 07 Apr 2026 15:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.909656
• Title: The Model Agreed, But Didn't Learn: Diagnosing Surface Compliance in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける表面コンプライアンスの診断
• Authors: Xiaojie Gu, Ziying Huang, Weicong Hong, Jian Xie, Renze Lou, Kai Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、膨大な世界の知識をパラメトリックメモリとして内部化するが、必然的にソースコーパスの不安定さと誤りを継承する。 知識編集は、再トレーニングせずに記憶を外科的に修正するための重要なパラダイムを提供する。 本研究では,文脈内学習環境下での識別的自己評価をモデルとした診断フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.743453676247903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) internalize vast world knowledge as parametric memory, yet inevitably inherit the staleness and errors of their source corpora. Consequently, ensuring the reliability and malleability of these internal representations is imperative for trustworthy real-world deployment. Knowledge editing offers a pivotal paradigm for surgically modifying memory without retraining. However, while recent editors demonstrate high success rates on standard benchmarks, it remains questionable whether current evaluation frameworks that rely on assessing output under specific prompting conditions can reliably authenticate genuine memory modification. In this work, we introduce a simple diagnostic framework that subjects models to discriminative self-assessment under in-context learning (ICL) settings that better reflect real-world application environments, specifically designed to scrutinize the subtle behavioral nuances induced by memory modifications. This probing reveals a pervasive phenomenon of Surface Compliance, where editors achieve high benchmark scores by merely mimicking target outputs without structurally overwriting internal beliefs. Moreover, we find that recursive modifications accumulate representational residues, triggering cognitive instability and permanently diminishing the reversibility of the model's memory state. These insights underscore the risks of current editing paradigms and highlight the pivotal role of robust memory modification in building trustworthy, long-term sustainable LLM systems. Code is available at https://github.com/XiaojieGu/SA-MCQ.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、膨大な世界の知識をパラメトリックメモリとして内部化するが、必然的にソースコーパスの不安定さと誤りを継承する。 したがって、これらの内部表現の信頼性と適合性を保証することは、信頼できる現実世界のデプロイメントに不可欠である。 知識編集は、再トレーニングせずに記憶を外科的に修正するための重要なパラダイムを提供する。 しかし、最近の編集者は標準ベンチマークで高い成功率を示しているが、特定のプロンプト条件下でのアウトプット評価に頼っている現在の評価フレームワークが、真のメモリ修正を確実に認証できるかどうかについては疑問が残る。 本研究では、実世界のアプリケーション環境をよりよく反映し、メモリ修正によって引き起こされる微妙な行動ニュアンスを精査する、インコンテキスト学習(ICL)環境下での識別的自己評価をモデルとした単純な診断フレームワークを提案する。 この調査はSurface Complianceの広範な現象を明らかにしており、編集者は内部の信念を上書きすることなく、単にターゲット出力を模倣することで高いベンチマークスコアを達成する。 さらに、再帰的な修正は表現残基を蓄積し、認知的不安定を誘発し、モデルの記憶状態の可逆性を恒久的に低下させる。 これらの知見は、現在の編集パラダイムのリスクを浮き彫りにして、信頼できる長期持続型LCMシステムの構築において、堅牢なメモリ修正が重要な役割を担っていることを強調している。 コードはhttps://github.com/XiaojieGu/SA-MCQで入手できる。

関連論文リスト

• MERIT: Memory-Enhanced Retrieval for Interpretable Knowledge Tracing [23.48465917752293]
  大きな言語モデル(LLM)は強力な推論能力を提供するが、限られたコンテキストウィンドウや幻覚に苦しむ。 MERIT(Memory-Enhanced Retrieval for Interpretable Knowledge Tracing)は,凍結LDM推論と構造化ペタゴジカルメモリを組み合わせた学習自由フレームワークである。 LLMを解釈可能なメモリにグラウンドすることで、MERITは勾配更新なしで現実世界のデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-03T10:07:38Z)
• GLOVE: Global Verifier for LLM Memory-Environment Realignment [15.456830820378656]
  本稿では,相対的な真理の概念を確立することにより,大規模言語モデルメモリシステムの設計次元を新たに導入するフレームワークを提案する。 GLOVEは、地味な監督やモデルのイントロスペクションに強く依存することなく、メモリの検証と更新を行うことで、メモリ環境の調整を可能にする。 以上の結果から,GLOVEはエージェントの成功率を大幅に改善し,自己進化可能な認知エージェントへの堅牢な経路が示唆された。
  論文  参考訳（メタデータ） (2026-01-27T06:32:05Z)
• Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning [44.94110361062394]
  実世界の意思決定は、安定かつ適応性のあるメモリに依存する。 既存の強化学習ベンチマークとメモリ拡張エージェントは、主に保持に焦点を当てている。 部分的な可観測性の下で連続的なメモリ更新を明示的にテストするベンチマークを導入する。
  論文  参考訳（メタデータ） (2026-01-21T15:27:23Z)
• MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs [76.28901550926021]
  寿命の長いモデル編集のための既存の方法は、妥協の一般化、過去の編集の妨害、長い編集シーケンスへのスケールの失敗である。 我々は,学習済みモデルのコア能力を保ちながら,残メモリを介して知識を注入する,新しいスケーラブルなフレームワークMEMOIRを提案する。 MeMOIRは信頼性、一般化、ローカリティのメトリクスにまたがる最先端のパフォーマンスを実現し、最小限の忘れ物で数千のシーケンシャルな編集にスケールする。
  論文  参考訳（メタデータ） (2025-06-09T16:16:42Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Improving Factuality with Explicit Working Memory [68.39261790277615]
  大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 EWE(Explicit Working Memory)は、外部リソースからのリアルタイムフィードバックを受信するワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しい手法である。
  論文  参考訳（メタデータ） (2024-12-24T00:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。