論文の概要: Context Robust Knowledge Editing for Language Models

• arxiv url: http://arxiv.org/abs/2505.23026v1
• Date: Thu, 29 May 2025 03:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.639864
• Title: Context Robust Knowledge Editing for Language Models
• Title（参考訳）: 言語モデルのためのコンテキストロバストな知識編集
• Authors: Haewon Park, Gyubin Choi, Minjun Kim, Yohan Jo,
• Abstract要約: 知識編集手法のコンテキストロバスト性を評価するためのベンチマークであるCHEDを開発した。 CHEDの評価は、先行するコンテキストが存在するときにしばしば失敗することを示している。 我々はコンテキストの堅牢性を高めるために設計されたKE手法であるCoREを紹介する。
• 参考スコア（独自算出の注目度）: 10.634048842551662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing (KE) methods offer an efficient way to modify knowledge in large language models. Current KE evaluations typically assess editing success by considering only the edited knowledge without any preceding contexts. In real-world applications, however, preceding contexts often trigger the retrieval of the original knowledge and undermine the intended edit. To address this issue, we develop CHED -- a benchmark designed to evaluate the context robustness of KE methods. Evaluations on CHED show that they often fail when preceding contexts are present. To mitigate this shortcoming, we introduce CoRE, a KE method designed to strengthen context robustness by minimizing context-sensitive variance in hidden states of the model for edited knowledge. This method not only improves the editing success rate in situations where a preceding context is present but also preserves the overall capabilities of the model. We provide an in-depth analysis of the differing impacts of preceding contexts when introduced as user utterances versus assistant responses, and we dissect attention-score patterns to assess how specific tokens influence editing success.
• Abstract（参考訳）: 知識編集(KE)手法は、大きな言語モデルにおける知識を効率的に修正する方法を提供する。 現在のKE評価は、編集された知識のみを事前の文脈なしで考慮し、編集成功を評価するのが一般的である。 しかし、現実世界のアプリケーションでは、事前のコンテキストが元の知識の検索を引き起こし、意図した編集を損なうことがよくある。 この問題に対処するため,KE手法のコンテキストロバスト性を評価するためのベンチマークであるCHEDを開発した。 CHEDの評価は、先行するコンテキストが存在するときにしばしば失敗することを示している。 この欠点を軽減するために,編集知識のためのモデルの隠れ状態における文脈に敏感な分散を最小化することにより,コンテキストロバスト性を高めるために設計されたKE手法であるCoREを導入する。 この方法は、先行するコンテキストが存在する場合の編集成功率を改善するだけでなく、モデルの全体的な機能も維持する。 ユーザの発話対アシスタント応答として導入される前の文脈の異なる影響を詳細に分析し、特定のトークンが編集の成功にどのように影響するかを評価するために、注目スコアパターンを識別する。

関連論文リスト

• ScEdit: Script-based Assessment of Knowledge Editing [13.628279976661934]
  知識編集(KE)が注目を集めているが、現在のKEタスクは比較的単純である。 私たちは、新しいスクリプトベースのベンチマーク -- ScEdit (スクリプトベースの知識編集ベンチマーク) を導入しました。 我々は、すべてのKEメソッドが確立されたメトリクスのパフォーマンス低下を示し、テキストレベルのメトリクスに課題に直面していることを観察し、困難な課題を示している。
  論文  参考訳（メタデータ） (2025-05-29T09:42:25Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• In-Context Editing: Learning Knowledge from Self-Induced Distributions [29.10148782152867]
  本研究では,1ホットターゲットではなくコンテキスト分布を最適化するために,Consistent In-Context Editing (ICE)を導入する。 ICEは、勾配に基づくチューニング手法の堅牢性と有効性を向上し、モデルの整合性を維持するのを防ぐ。 我々は、知識編集の4つの重要な側面、すなわち正確性、局所性、一般化、言語的品質を分析し、その利点を実証する。
  論文  参考訳（メタデータ） (2024-06-17T04:00:04Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
  AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。 知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。 大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。