論文の概要: EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries
- arxiv url: http://arxiv.org/abs/2402.11324v1
- Date: Sat, 17 Feb 2024 16:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:01:27.948996
- Title: EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries
- Title(参考訳): EVEDIT:デダクティブ編集境界を用いたイベントベースの知識編集
- Authors: Jiateng Liu, Pengfei Yu, Yuji Zhang, Sha Li, Zixuan Zhang, Heng Ji
- Abstract要約: 大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
- 参考スコア(独自算出の注目度): 69.72012539060731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The dynamic nature of real-world information necessitates efficient knowledge
editing (KE) in large language models (LLMs) for knowledge updating. However,
current KE approaches, which typically operate on (subject, relation, object)
triples, ignore the contextual information and the relation among different
knowledge. Such editing methods could thus encounter an uncertain editing
boundary, leaving a lot of relevant knowledge in ambiguity: Queries that could
be answered pre-edit cannot be reliably answered afterward. In this work, we
analyze this issue by introducing a theoretical framework for KE that
highlights an overlooked set of knowledge that remains unchanged and aids in
knowledge deduction during editing, which we name as the deduction anchor. We
further address this issue by proposing a novel task of event-based knowledge
editing that pairs facts with event descriptions. This task manifests not only
a closer simulation of real-world editing scenarios but also a more logically
sound setting, implicitly defining the deduction anchor to address the issue of
indeterminate editing boundaries. We empirically demonstrate the superiority of
event-based editing over the existing setting on resolving uncertainty in
edited models, and curate a new benchmark dataset EvEdit derived from the
CounterFact dataset. Moreover, while we observe that the event-based setting is
significantly challenging for existing approaches, we propose a novel approach
Self-Edit that showcases stronger performance, achieving 55.6% consistency
improvement while maintaining the naturalness of generation.
- Abstract(参考訳): 実世界の情報のダイナミックな性質は、知識更新のために大きな言語モデル(LLM)における効率的な知識編集(KE)を必要とする。
しかし、現在のKEアプローチは、一般的に(対象、関係、対象)三重に作用し、異なる知識間の文脈情報や関係を無視している。
したがって、このような編集方法は不確定な編集境界に遭遇する可能性があり、多くの関連する知識を曖昧さに残すことになる。
本研究では,未確認の知識集合を強調し,編集時の知識推論を補助する,keの理論的枠組みを導入することで,この問題を分析し,その解法を解法アンカーと呼ぶ。
我々は、事実と事象記述を組み合わせるイベントベースの知識編集の新しいタスクを提案することにより、この問題をさらに解決する。
このタスクは、現実世界の編集シナリオのより密接なシミュレーションだけでなく、より論理的に健全な設定を示し、非決定的な編集境界の問題に対処するために、推論アンカーを暗黙的に定義する。
編集されたモデルにおける不確実性を解決するための既存の設定よりもイベントベースの編集が優れていることを実証的に証明し、CounterFactデータセットから派生した新しいベンチマークデータセットEvEditをキュレートする。
さらに、イベントベースの設定は既存のアプローチでは著しく困難であるものの、より優れたパフォーマンスを示し、生成の自然性を維持しながら55.6%の一貫性の向上を実現する新しいアプローチであるセルフ編集を提案する。
関連論文リスト
- Updating Language Models with Unstructured Facts: Towards Practical
Knowledge Editing [87.35944788684958]
我々は新しいベンチマークUnstructured Knowledge Editing (UKE)を提案する。
UKEは、構造化されていないテキストを直接知識更新として使用する編集性能を評価し、構造化されていない事実と呼ぶ。
新たに構築されたデータセットに関する広範な実験を行い、UKEが最先端の知識編集手法に重大な課題をもたらすことを示した。
論文 参考訳(メタデータ) (2024-02-29T07:08:34Z) - Event-level Knowledge Editing [53.767465515537545]
既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。
イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。
我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
論文 参考訳(メタデータ) (2024-02-20T15:36:41Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
提案手法は,下流タスク性能と強い相関を示す広範な実験により検証され,サロゲート指標としてパープレキシティを用いる。
論文 参考訳(メタデータ) (2024-02-15T01:50:38Z) - Propagation and Pitfalls: Reasoning-based Assessment of Knowledge
Editing through Counterfactual Tasks [36.292901021210575]
ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。
我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。
全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
論文 参考訳(メタデータ) (2024-01-31T04:12:59Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Evaluating Dependencies in Fact Editing for Language Models: Specificity
and Implication Awareness [26.589633375359647]
学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。
LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。
本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
論文 参考訳(メタデータ) (2023-12-04T12:45:30Z) - Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。
我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。
本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
論文 参考訳(メタデータ) (2023-11-15T15:44:42Z) - Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。
コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。
定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
論文 参考訳(メタデータ) (2022-07-06T17:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。