論文の概要: Beyond the Covariance Trap: Unlocking Generalization in Same-Subject Knowledge Editing for Large Language Models

• arxiv url: http://arxiv.org/abs/2603.15518v1
• Date: Mon, 16 Mar 2026 16:44:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.608987
• Title: Beyond the Covariance Trap: Unlocking Generalization in Same-Subject Knowledge Editing for Large Language Models
• Title（参考訳）: 共分散トラップを超えて:大規模言語モデルのための同じ対象知識編集におけるアンロック一般化
• Authors: Xiyu Liu, Qingyi Si, Zhengxiao Liu, Chenxu Yang, Naibin Gu, Zheng Lin,
• Abstract要約: モデルでは、元の編集形式でのリコールに成功しながらも、ユーザ命令に従う際に、更新された知識をリコールすることができないことを示す。 等方的幾何アライメントを用いて表現の偏差を最小限に抑えるRoSE(Robust Same-subject Editing)と階層的知識統合(Hierarchical Knowledge Integration)を導入し,最適化景観の円滑化を図る。
• 参考スコア（独自算出の注目度）: 18.348253900450093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While locate-then-edit knowledge editing efficiently updates knowledge encoded within Large Language Models (LLMs), a critical generalization failure mode emerges in the practical same-subject knowledge editing scenario: models fail to recall the updated knowledge when following user instructions, despite successfully recalling it in the original edited form. This paper identifies the geometric root of this generalization collapse as a fundamental conflict where the inner activation drifts induced by prompt variations exceed the model's geometric tolerance for generalization after editing. We attribute this instability to a dual pathology: (1) The joint optimization with orthogonal gradients collapses solutions into sharp minima with narrow stability, and (2) the standard covariance constraint paradoxically acts as a Covariance Trap that amplifies input perturbations. To resolve this, we introduce RoSE (Robust Same-subject Editing), which employs Isotropic Geometric Alignment to minimize representational deviation and Hierarchical Knowledge Integration to smooth the optimization landscape. Extensive experiments demonstrate that RoSE significantly improves instruction-following capabilities, laying the foundation for robust interactive parametric memory of LLM agents.
• Abstract（参考訳）: 大きな言語モデル (LLMs) で符号化された知識を効率よく更新するが、実際の同一目的の知識編集シナリオでは、重要な一般化失敗モードが出現する。 本稿では, この一般化崩壊の幾何学的根源を, 即時変動によって誘導される内的活性化のドリフトが, 編集後の一般化に対するモデルの幾何学的寛容を超越する基本的矛盾として挙げる。 この不安定性は、(1)直交勾配を伴う共同最適化は、解を狭い安定性を持つシャープなミニマに分解し、(2)標準共分散制約は、入力摂動を増幅する共分散トラップとしてパラドックス的に作用する。 これを解決するために,等方的幾何学的アライメントを用いたRoSE(Robust Same-subject Editing)と階層的知識統合(Hierarchical Knowledge Integration)を導入し,最適化景観の円滑化を図る。 大規模な実験により、RoSEは命令追従能力を大幅に改善し、LSMエージェントの堅牢な対話型パラメトリックメモリの基礎を築いた。

関連論文リスト

• Reforming the Mechanism: Editing Reasoning Patterns in LLMs with Circuit Reshaping [51.33479921152361]
  大規模言語モデル(LLM)は、信頼性を損なう欠点のある推論能力を示すことが多い。 推論を改善する既存のアプローチは一般的に、一般的なモノリシックなスキルとして扱い、非効率で特定の推論エラーをターゲットできない広範囲なトレーニングを適用する。 本稿では,LLMにおける特定の推論パターンを選択的に修正し,他の推論経路を保存するためのパラダイムであるReasoning Editingを紹介する。
  論文  参考訳（メタデータ） (2026-03-06T22:51:39Z)
• OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
  既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。 このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。 我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:41:36Z)
• When Does Context Help? Error Dynamics of Contextual Information in Large Language Models [64.88201012057822]
  大規模言語モデルにおける任意の文脈情報の影響を分析するための統合理論フレームワークを提案する。 本分析は,出力誤差ダイナミクスによる文脈的影響を特徴付ける。 ICL、検索拡張生成、メモリ進化に関する実験は、我々の理論を検証し、原則化された文脈選択戦略を動機づける。
  論文  参考訳（メタデータ） (2026-02-09T05:58:41Z)
• Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
  大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。 モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
  論文  参考訳（メタデータ） (2026-02-04T06:13:11Z)
• Generalizable Multimodal Large Language Model Editing via Invariant Trajectory Learning [46.514554089834554]
  既存の編集方法は、パラメータやモジュールの変更から出力への厳密なマッピングに依存している。 本稿では,MLLM編集をアウト・オブ・ディストリビューション(OOD)の一般化問題として再検討する。 我々は,編集の信頼性,局所性,汎用性を高めるための,プラグアンドプレイ不変学習ベースのフレームワークODEditを提案する。
  論文  参考訳（メタデータ） (2026-01-27T15:25:07Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。