論文の概要: Unveiling and Eliminating the Shortcut Learning for Locate-Then-Edit Knowledge Editing via Both Subject and Relation Awareness

• arxiv url: http://arxiv.org/abs/2506.04042v1
• Date: Wed, 04 Jun 2025 15:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.403875
• Title: Unveiling and Eliminating the Shortcut Learning for Locate-Then-Edit Knowledge Editing via Both Subject and Relation Awareness
• Title（参考訳）: 主観的・関係的双方の知識編集におけるショートカット学習の展開と除去
• Authors: Xiyu Liu, Zhengxiao Liu, Naibin Gu, Zheng Lin, Ji Xiang, Weiping Wang,
• Abstract要約: 知識編集は、大きな言語モデルによって予測される目標知識を交換することを目的としている。 本稿では,対象特徴と関係特徴の学習のバランスをとる2段階最適化プロセスを提案する。
• 参考スコア（独自算出の注目度）: 15.781679300397562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge editing aims to alternate the target knowledge predicted by large language models while ensuring the least side effects on unrelated knowledge. An effective way to achieve knowledge editing is to identify pivotal parameters for predicting factual associations and modify them with an optimization process to update the predictions. However, these locate-then-edit methods are uncontrollable since they tend to modify most unrelated relations connected to the subject of target editing. We unveil that this failure of controllable editing is due to a shortcut learning issue during the optimization process. Specifically, we discover two crucial features that are the subject feature and the relation feature for models to learn during optimization, but the current optimization process tends to over-learning the subject feature while neglecting the relation feature. To eliminate this shortcut learning of the subject feature, we propose a novel two-stage optimization process that balances the learning of the subject feature and the relation feature. Experimental results demonstrate that our approach successfully prevents knowledge editing from shortcut learning and achieves the optimal overall performance, contributing to controllable knowledge editing.
• Abstract（参考訳）: 知識編集は、大きな言語モデルによって予測される対象の知識を交換し、無関係な知識に最小限の影響を確実にすることを目的としている。 知識編集を実現する効果的な方法は、事実関連を予測するための重要なパラメータを特定し、それらを最適化プロセスで修正し、予測を更新することである。 しかし、これらの位置列編集法は、ターゲット編集の対象と結びついているほとんどの無関係な関係を改変する傾向があるため、制御不能である。 制御可能な編集の失敗は、最適化プロセス中のショートカット学習の問題によるものであることを明らかにした。 具体的には、モデルが最適化時に学習する対象特徴と関係特徴の2つの重要な特徴を見出すが、現在の最適化プロセスは関係特徴を無視しながら対象特徴を過度に学習する傾向がある。 対象特徴のこのショートカット学習を排除するために,対象特徴と関係特徴の学習のバランスをとる2段階最適化プロセスを提案する。 実験の結果,本手法は知識編集をショートカット学習から効果的に防ぎ,全体的な性能を最大限に発揮し,制御可能な知識編集に寄与することが示された。

関連論文リスト

• Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
  現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。 本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。 実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-08T04:47:17Z)
• Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
  編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。 本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-10T11:09:00Z)
• Propagation and Pitfalls: Reasoning-based Assessment of Knowledge Editing through Counterfactual Tasks [36.292901021210575]
  ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。 我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。 全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
  論文  参考訳（メタデータ） (2024-01-31T04:12:59Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。