論文の概要: Revealing and Mitigating Over-Attention in Knowledge Editing
- arxiv url: http://arxiv.org/abs/2502.14838v1
- Date: Thu, 20 Feb 2025 18:51:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 14:29:39.470124
- Title: Revealing and Mitigating Over-Attention in Knowledge Editing
- Title（参考訳）: 知識編集における過剰注意の発見と緩和
- Authors: Pinzheng Wang, Zecheng Tang, Keyan Zhou, Juntao Li, Qiaoming Zhu, Min Zhang,
- Abstract要約: 大規模な言語モデルは、幅広いタスクで優れたパフォーマンスを示しています。
しかし、トレーニングデータから学んだ誤った知識のために、いまだに望ましくない誤りを呈している。
知識編集手法は、ごく少数のパラメータを効率的に修正することで、特定のモデルの知識を正確に編集する。
これらの編集手法は、既存の知識や能力が編集によって著しく劣化する特異性障害に繋がる可能性がある。
- 参考スコア（独自算出の注目度）: 28.950187006528783
- License:
- Abstract: Large Language Models have demonstrated superior performance across a wide range of tasks, but they still exhibit undesirable errors due to incorrect knowledge learned from the training data. To avoid this, knowledge editing methods emerged to precisely edit the specific model knowledge via efficiently modifying a very small percentage of parameters. % However, those methods can lead to the problem of Specificity Failure: when the content related to the edited knowledge occurs in the context, it can inadvertently corrupt other pre-existing knowledge. However, those methods can lead to the problem of Specificity Failure, where the existing knowledge and capabilities are severely degraded due to editing. Our preliminary indicates that Specificity Failure primarily stems from the model's attention heads assigning excessive attention scores to entities related to the edited knowledge, thereby unduly focusing on specific snippets within the context, which we denote as the Attention Drift phenomenon. To mitigate such Attention Drift issue, we introduce a simple yet effective method Selective Attention Drift Restriction}(SADR), which introduces an additional regularization term during the knowledge editing process to restrict changes in the attention weight distribution, thereby preventing undue focus on the edited entity. Experiments on five frequently used strong LLMs demonstrate the effectiveness of our method, where SADR can significantly mitigate Specificity Failure in the predominant knowledge editing tasks.
- Abstract（参考訳）: 大規模言語モデルは、幅広いタスクにおいて優れたパフォーマンスを示してきたが、トレーニングデータから学んだ誤った知識のために、いまだに望ましくない誤りを示している。
これを避けるために、ごく少数のパラメータを効率的に修正することで、特定のモデルの知識を正確に編集する知識編集手法が登場した。
しかし、これらの手法は、編集された知識に関連するコンテンツが文脈で発生した場合、既存の他の知識を不注意に破壊する可能性がある。
しかし、これらの手法は、既存の知識や能力が編集によって著しく劣化する特異性障害に繋がる可能性がある。
本研究の予備的結果は、主に、編集された知識に関連するエンティティに過度な注意スコアを割り当てることによって、文脈内の特定のスニペットに不規則に焦点を合わせ、注意ドリフト現象と表現することに由来することを示唆している。
このような注意ドリフト問題を緩和するために,知識編集プロセス中に追加の正規化項を導入し,注意重み分布の変化を抑え,編集対象に不適切な焦点をあてることを防止する,シンプルで効果的な方法であるSelective Attention Drift Restriction(SADR)を導入する。
5つの多用された強力なLCM実験により,本手法の有効性が示され,SADRは主となる知識編集タスクにおける特異性障害を著しく軽減することができる。
関連論文リスト
- Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject [49.559994791305535]
現在最先端の編集手法は、複数の関連知識を同じ主題に編集する作業で苦労している。
本稿では,textS2textRKE$(Same-Subject Related Knowledge Editing)ベンチマークを紹介する。
実験の結果,ROMやMEMITのような主流の位置情報編集手法だけが「関連する知識の摂動」を示すことがわかった。
論文 参考訳（メタデータ） (2025-02-08T04:47:17Z) - Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。
本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
論文 参考訳（メタデータ） (2024-10-10T11:09:00Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
本稿では,従来のISsueを意識した復号化手法を提案する。
元のモデルと編集されたモデルとの確率分布の差を捉える。
我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
論文 参考訳（メタデータ） (2024-06-05T03:00:15Z) - Has this Fact been Edited? Detecting Knowledge Edits in Language Models [5.260519479124422]
知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。
生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。
本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
論文 参考訳（メタデータ） (2024-05-04T22:02:24Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳（メタデータ） (2024-02-17T16:34:50Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - dugMatting: Decomposed-Uncertainty-Guided Matting [83.71273621169404]
そこで本稿では, 明確に分解された不確かさを探索し, 効率よく効率よく改善する, 分解不確実性誘導型マッチングアルゴリズムを提案する。
提案したマッチングフレームワークは,シンプルで効率的なラベリングを用いて対話領域を決定する必要性を緩和する。
論文 参考訳（メタデータ） (2023-06-02T11:19:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。