論文の概要: Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing

• arxiv url: http://arxiv.org/abs/2506.00536v1
• Date: Sat, 31 May 2025 12:51:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.185766
• Title: Decoupling Reasoning and Knowledge Injection for In-Context Knowledge Editing
• Title（参考訳）: 文脈内知識編集のための推論と知識注入の分離
• Authors: Changyue Wang, Weihang Su, Qingyao Ai, Yujia Zhou, Yiqun Liu,
• Abstract要約: インコンテキスト編集(ICE)は、入力コンテキストに直接新しい知識を注入することで、軽量なソリューションを提供する。 既存のICEアプローチは、新しく注入された知識をモデル本来の推論プロセスから明確に分離するものではない。 マスク付き推論経路を生成することで知識編集から推論を分離する新しいICEフレームワークであるDecKERを提案する。
• 参考スコア（独自算出の注目度）: 12.5122702720856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to efficiently update Large Language Models (LLMs) by modifying specific knowledge without retraining the entire model. Among knowledge editing approaches, in-context editing (ICE) offers a lightweight solution by injecting new knowledge directly into the input context, leaving model parameters unchanged. However, existing ICE approaches do not explicitly separate the newly injected knowledge from the model's original reasoning process. This entanglement often results in conflicts between external updates and internal parametric knowledge, undermining the consistency and accuracy of the reasoning path.In this work, we conduct preliminary experiments to examine how parametric knowledge influences reasoning path planning. We find that the model's reasoning is tightly coupled with its internal knowledge, and that naively injecting new information without adapting the reasoning path often leads to performance degradation, particularly in multi-hop tasks. To this end, we propose DecKER, a novel ICE framework that decouples reasoning from knowledge editing by generating a masked reasoning path and then resolving knowledge edits via hybrid retrieval and model-based validation. Experiments on multi-hop QA benchmarks show that DecKER significantly outperforms existing ICE methods by mitigating knowledge conflicts and preserving reasoning consistency. Our code is available at: https://github.com/bebr2/DecKER .
• Abstract（参考訳）: 知識編集は、モデル全体をトレーニングすることなく、特定の知識を変更することで、LLM(Large Language Models)を効率的に更新することを目的としている。 知識編集アプローチの中で、インコンテキスト編集(ICE)は、入力コンテキストに直接新しい知識を注入し、モデルパラメータをそのまま残すことによって、軽量なソリューションを提供する。 しかし、既存のICEアプローチは、新しく注入された知識をモデル本来の推論プロセスから明確に分離するものではない。 この絡み合いは、しばしば外部更新と内部パラメトリック知識の対立を引き起こし、推論経路の一貫性と精度を損なう。 モデル推論は内部知識と密接に結びついており,特にマルチホップタスクにおいて,推論経路に適応せずに新たな情報を鼻で注入することで,性能の劣化につながることが判明した。 この目的のために,マスク付き推論経路を生成して知識編集から推論を分離し,ハイブリッド検索とモデルベース検証によって知識編集を解決する新しいICEフレームワークであるDecKERを提案する。 マルチホップQAベンチマークの実験では、DecKERは知識の衝突を軽減し、推論整合性を維持することで既存のICEメソッドよりも大幅に優れていた。 私たちのコードは、https://github.com/bebr2/DecKER で利用可能です。

関連論文リスト

• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [88.35958039968081]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識のより効果的な統合を可能にする新しい手法である。 その結果,CaKEは関連する推論タスクに対して,より正確で一貫した知識の活用を可能にすることがわかった。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• Knowledge Updating? No More Model Editing! Just Selective Contextual Reasoning [38.018263569983226]
  信頼性,一般化,局所性,可搬性という4次元の10種類のモデル編集手法の評価を行った。 次に、知識更新のためのSCR(Selective Contextual Reasoning)という簡単な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:04:25Z)
• CoME: An Unlearning-based Approach to Conflict-free Model Editing [8.215201299292033]
  大規模言語モデル(LLM)は、古い情報や事前訓練の誤った情報を保持することが多く、信頼性を損なう。 我々は,古い知識を選択的に除去することで,LLMにおける知識更新の精度を高める新しいフレームワークである,衝突のないモデル編集(CoME)を提案する。
  論文  参考訳（メタデータ） (2025-02-20T04:55:38Z)
• Enhancing Multi-hop Reasoning through Knowledge Erasure in Large Language Model Editing [38.590823330865845]
  大規模言語モデル(LLM)は、内部知識の不正確さと時代遅れの情報による課題に直面している。 知識編集はこれらの問題を緩和するための重要なアプローチとして現れてきた。 大規模言語モデル編集(KELE)のための知識消去機構を組み込んだ新しい知識編集手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T14:53:33Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。