論文の概要: EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries
- arxiv url: http://arxiv.org/abs/2402.11324v1
- Date: Sat, 17 Feb 2024 16:34:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:01:27.948996
- Title: EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries
- Title（参考訳）: EVEDIT:デダクティブ編集境界を用いたイベントベースの知識編集
- Authors: Jiateng Liu, Pengfei Yu, Yuji Zhang, Sha Li, Zixuan Zhang, Heng Ji
- Abstract要約: 大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
- 参考スコア（独自算出の注目度）: 69.72012539060731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The dynamic nature of real-world information necessitates efficient knowledge
editing (KE) in large language models (LLMs) for knowledge updating. However,
current KE approaches, which typically operate on (subject, relation, object)
triples, ignore the contextual information and the relation among different
knowledge. Such editing methods could thus encounter an uncertain editing
boundary, leaving a lot of relevant knowledge in ambiguity: Queries that could
be answered pre-edit cannot be reliably answered afterward. In this work, we
analyze this issue by introducing a theoretical framework for KE that
highlights an overlooked set of knowledge that remains unchanged and aids in
knowledge deduction during editing, which we name as the deduction anchor. We
further address this issue by proposing a novel task of event-based knowledge
editing that pairs facts with event descriptions. This task manifests not only
a closer simulation of real-world editing scenarios but also a more logically
sound setting, implicitly defining the deduction anchor to address the issue of
indeterminate editing boundaries. We empirically demonstrate the superiority of
event-based editing over the existing setting on resolving uncertainty in
edited models, and curate a new benchmark dataset EvEdit derived from the
CounterFact dataset. Moreover, while we observe that the event-based setting is
significantly challenging for existing approaches, we propose a novel approach
Self-Edit that showcases stronger performance, achieving 55.6% consistency
improvement while maintaining the naturalness of generation.
- Abstract（参考訳）: 実世界の情報のダイナミックな性質は、知識更新のために大きな言語モデル(LLM)における効率的な知識編集(KE)を必要とする。
しかし、現在のKEアプローチは、一般的に(対象、関係、対象)三重に作用し、異なる知識間の文脈情報や関係を無視している。
したがって、このような編集方法は不確定な編集境界に遭遇する可能性があり、多くの関連する知識を曖昧さに残すことになる。
本研究では,未確認の知識集合を強調し,編集時の知識推論を補助する,keの理論的枠組みを導入することで,この問題を分析し,その解法を解法アンカーと呼ぶ。
我々は、事実と事象記述を組み合わせるイベントベースの知識編集の新しいタスクを提案することにより、この問題をさらに解決する。
このタスクは、現実世界の編集シナリオのより密接なシミュレーションだけでなく、より論理的に健全な設定を示し、非決定的な編集境界の問題に対処するために、推論アンカーを暗黙的に定義する。
編集されたモデルにおける不確実性を解決するための既存の設定よりもイベントベースの編集が優れていることを実証的に証明し、CounterFactデータセットから派生した新しいベンチマークデータセットEvEditをキュレートする。
さらに、イベントベースの設定は既存のアプローチでは著しく困難であるものの、より優れたパフォーマンスを示し、生成の自然性を維持しながら55.6%の一貫性の向上を実現する新しいアプローチであるセルフ編集を提案する。
関連論文リスト
- Uncovering Overfitting in Large Language Model Editing [35.55260822503773]
編集対象に不均等に高い確率を割り当てる編集オーバーフィット現象を同定し,検討する。
本稿では,新たな知識を振り返って編集されたモデルをガイドするマルチステージ推論制約モジュールを導入する,Learning to Inference (LTI) と呼ばれる新しいプラグイン・アンド・プレイ戦略を提案する。
論文 参考訳（メタデータ） (2024-10-10T11:09:00Z) - Relation Also Knows: Rethinking the Recall and Editing of Factual Associations in Auto-Regressive Transformer Language Models [15.698183471185066]
自己回帰変換言語モデル(LM)における事実関連の記憶とリコールが注目されている。
ほとんどの編集作業は、主に主題知識に焦点を当てた既存の知識リコールの解釈の指導の下で知識編集を行う。
本研究では,トランスフォーマーLMの知識リコールを推論中に解釈し,過度な一般化を避けるために知識編集に適用する,新たな関係性に着目した視点を見いだす。
論文 参考訳（メタデータ） (2024-08-27T14:22:02Z) - How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。
新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。
知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
論文 参考訳（メタデータ） (2024-06-25T03:41:02Z) - Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
現実世界の知識の大部分は、構造化されていない形式で保存される。
ローカル層キーバリューストレージや項駆動最適化のような技術は、構造化されていない知識を扱うのに有効ではない。
本研究では,非構造化知識編集手法,すなわちUnKEを提案する。
論文 参考訳（メタデータ） (2024-05-24T08:42:40Z) - Event-level Knowledge Editing [53.767465515537545]
既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。
イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。
我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
論文 参考訳（メタデータ） (2024-02-20T15:36:41Z) - The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。
編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。
我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文 参考訳（メタデータ） (2024-02-15T01:50:38Z) - On the Robustness of Editing Large Language Models [57.477943944826904]
大型言語モデル(LLM)はコミュニケーションAIの構築において重要な役割を担っているが、効率的な更新の課題に直面している。
この研究は、編集方法の長所と短所を理解し、コミュニケーション型AIの実践的応用を促進することを目的としている。
論文 参考訳（メタデータ） (2024-02-08T17:06:45Z) - Propagation and Pitfalls: Reasoning-based Assessment of Knowledge
Editing through Counterfactual Tasks [36.292901021210575]
ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。
我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。
全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
論文 参考訳（メタデータ） (2024-01-31T04:12:59Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。
我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。
本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
論文 参考訳（メタデータ） (2023-11-15T15:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。