論文の概要: EtCon: Edit-then-Consolidate for Reliable Knowledge Editing

• arxiv url: http://arxiv.org/abs/2512.04753v1
• Date: Thu, 04 Dec 2025 12:43:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.168777
• Title: EtCon: Edit-then-Consolidate for Reliable Knowledge Editing
• Title（参考訳）: EtCon: 信頼できる知識編集のためのエディット-then-Consolidate
• Authors: Ruilin Li, Yibin Wang, Wenhong Zhu, Chenglin Li, Jinghao Zhang, Chenliang Li, Junchi Yan, Jiaqi Wang,
• Abstract要約: 本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。 本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
• 参考スコア（独自算出の注目度）: 85.20993502078899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing aims to update specific facts in large language models (LLMs) without full retraining. Prior efforts sought to tune the knowledge layers of LLMs, proving effective for making selective edits. However, a significant gap exists between their performance in controlled, teacher-forcing evaluations and their real-world effectiveness in lifelong learning scenarios, which greatly limits their practical applicability. This work's empirical analysis reveals two recurring issues associated with this gap: (1) Most traditional methods lead the edited model to overfit to the new fact, thereby degrading pre-trained capabilities; (2) There is a critical absence of a knowledge consolidation stage, leaving new facts insufficiently integrated into LLMs' inference-time behavior under autoregressive generation, thereby leading to a mismatch between parametric knowledge and actual generation behavior. To this end, we propose Edit-then-Consolidate, a novel knowledge editing paradigm that aims to bridge the gap between theoretical knowledge editing methods and their real-world applicability. Specifically, (1) our framework mitigates overfitting via Targeted Proximal Supervised Fine-Tuning (TPSFT) that localizes the edit via a trust-region objective to limit policy drift; (2) Then, a consolidation stage using Group Relative Policy Optimization (GRPO) aligns the edited knowledge with CoT-based inference policy by optimizing trajectory-level behavior under comprehensive reward signals. Extensive experiments demonstrate our framework consistently improves editing reliability and generalization under real-world evaluations, while better preserving locality and pre-trained capabilities.
• Abstract（参考訳）: 知識編集は、大きな言語モデル(LLM)における特定の事実を、完全なリトレーニングなしで更新することを目的としている。 それまでの努力はLLMの知識層を調整し、選択的な編集を行うのに効果的であった。 しかし,教師の強制評価と生涯学習シナリオにおける実効性の間には大きなギャップがあり,実用性を大幅に制限している。 本研究の実証分析では,(1) 従来の手法が編集されたモデルを新たな事実に過度に適合させ,事前学習能力の低下を招いたこと,(2) 知識統合段階の重大な欠如,(2) 自己回帰生成下でのLLMの推論時間行動に新たな事実が組み込まれていないこと,そして,パラメトリック知識と実際の生成行動のミスマッチにつながること,の2点が明らかになった。 そこで本研究では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした,新しい知識編集パラダイムであるEdit-then-Consolidateを提案する。 具体的には,(1)政策ドリフトを制限するための信頼領域の目的を通じて編集をローカライズするTPSFT(Targeted Proximal Supervised Fine-Tuning)によるオーバーフィッティングを緩和し,(2)グループ相対政策最適化(GRPO)を用いた統合段階において,包括的報酬信号の下で軌道レベルの振る舞いを最適化することにより,COTに基づく推論ポリシーと整合する。 大規模な実験により、我々のフレームワークは、実世界の評価の下での編集信頼性と一般化を継続的に改善し、局所性と事前学習能力の保存を改良した。

関連論文リスト

• Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality [27.687276551678583]
  幻覚と事実性の欠如は、大きな言語モデルの信頼性にとって重要な障害である。 本稿では,政策モデルの表現された知識と基本モデルのパラメトリック知識との知識整合性に着目した新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-28T09:23:06Z)
• Surgical Knowledge Rewrite in Compact LLMs: An 'Unlearn-then-Learn' Strategy with ($IA^3$) for Localized Factual Modulation and Catastrophic Forgetting Mitigation [0.0]
  本稿では,大規模言語モデルにおける正確な知識編集のための新しい「未学習学習戦略」を紹介し,評価する。 2段階のアプローチは、競合する事実を符号化する原因となる特定の内部コンポーネントを特定し、ターゲットとする初期回路ローカライゼーションフェーズによって実現される。
  論文  参考訳（メタデータ） (2025-08-09T18:48:25Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,多段階推論制約モジュールを導入し,新しい知識をリコールする際のモデルをガイドするLearning the Inference (LTI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。