論文の概要: Uncovering Context Reliance in Unstructured Knowledge Editing

• arxiv url: http://arxiv.org/abs/2602.19043v1
• Date: Sun, 22 Feb 2026 04:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.458288
• Title: Uncovering Context Reliance in Unstructured Knowledge Editing
• Title（参考訳）: 非構造化知識編集における文脈信頼の解明
• Authors: Zisheng Zhou, Mengqi Zhang, Shiguang Wu, Xiaotian Ye, Chi Zhang, Zhumin Chen, Pengjie Ren,
• Abstract要約: 我々は、コンテキスト信頼をNTPベースのアプローチの重要な障害モードとみなす。 我々は、シンプルだが効果的なCOntext-Independent Editor framework (COIN)を提案する。 COINはコンテキスト信頼性を45.2%削減し、強力なベースラインを23.6%向上させる。
• 参考スコア（独自算出の注目度）: 33.04965014969181
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Editing Large language models (LLMs) with real-world, unstructured knowledge is essential for correcting and updating their internal parametric knowledge. In this work, we revisit the fundamental next-token prediction (NTP) as a candidate paradigm for unstructured editing. We identify Context Reliance as a critical failure mode of NTP-based approaches, where knowledge acquired from edited text becomes highly dependent on its preceding context, leading to recall failures when that context is absent during inference. This hypothesis is supported by our empirical validation that prepending context during inference recovers knowledge recall. We further theoretically demonstrate that Context Reliance is an inherent consequence of gradient-based optimization, which tends to bind acquired knowledge to a specific aggregated contextual representation. To address this, we propose a simple yet effective COntext-INdependent editing framework (COIN), encouraging model to focus on knowledge within local scope rather than memorizing contextual patterns. Evaluations show that COIN reduces Context Reliance by 45.2% and outperforms strong baselines by 23.6% in editing success rate, highlighting the vital role of mitigating Context Reliance for robust editing.
• Abstract（参考訳）: 大規模言語モデル(LLM)を現実の非構造化知識で編集することは、内部パラメトリック知識の修正と更新に不可欠である。 本研究では,非構造化編集の候補パラダイムとして,NTP(Next-token Prediction)を再考する。 我々は、文脈信頼をNTPベースのアプローチの重要な障害モードとみなし、編集されたテキストから取得した知識が、その前のコンテキストに大きく依存するようになり、推論中にそのコンテキストが欠落している場合に、その障害をリコールする。 この仮説は、推論中に予測される文脈が知識リコールを回復するという経験的検証によって支持される。 さらに、得られた知識を特定の集合的文脈表現に結び付ける傾向にある勾配に基づく最適化の本質的な結果がコンテキスト信頼(Context Reliance)であることを示す。 そこで本研究では,文脈パターンを記憶するのではなく,局所的な範囲内での知識に着目したシンプルなCOIN(COntext-Independent editing framework)を提案する。 COINはコンテキスト信頼性を45.2%削減し、編集成功率を23.6%向上させ、堅牢な編集のためにコンテキスト信頼性を緩和する重要な役割を浮き彫りにした。

関連論文リスト

• EtCon: Edit-then-Consolidate for Reliable Knowledge Editing [85.20993502078899]
  本稿では,理論的知識編集手法と実世界の応用性とのギャップを埋めることを目的とした知識編集パラダイムであるEdit-then-Consolidateを提案する。 本フレームワークは,実環境評価における編集信頼性と一般化を継続的に改善するとともに,局所性と事前学習能力の保存を向上する。
  論文  参考訳（メタデータ） (2025-12-04T12:43:50Z)
• Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation [57.97548022208733]
  キー値抽出における表面的選択が精度と安定性のシフトを引き起こすことを示す。 生成前の文脈表現を適応的に標準化する戦略であるコンテキスト正規化を導入する。
  論文  参考訳（メタデータ） (2025-10-15T06:28:25Z)
• Context-Robust Knowledge Editing for Language Models [10.634048842551662]
  知識編集手法のコンテキストロバスト性を評価するためのベンチマークであるCHEDを開発した。 CHEDの評価は、先行するコンテキストが存在するときにしばしば失敗することを示している。 我々はコンテキストの堅牢性を高めるために設計されたKE手法であるCoREを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T03:11:53Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
  我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。 我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。 また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。