論文の概要: Event-level Knowledge Editing

• arxiv url: http://arxiv.org/abs/2402.13093v2
• Date: Sun, 21 Apr 2024 06:13:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 23:34:03.551811
• Title: Event-level Knowledge Editing
• Title（参考訳）: イベントレベルの知識編集
• Authors: Hao Peng, Xiaozhi Wang, Chunyang Li, Kaisheng Zeng, Jiangshan Duo, Yixin Cao, Lei Hou, Juanzi Li,
• Abstract要約: 既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。 イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。 我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
• 参考スコア（独自算出の注目度）: 53.767465515537545
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Knowledge editing aims at updating knowledge of large language models (LLMs) to prevent them from becoming outdated. Existing work edits LLMs at the level of factual knowledge triplets. However, natural knowledge updates in the real world come from the occurrences of new events rather than direct changes in factual triplets. In this paper, we propose a new task setting: event-level knowledge editing, which directly edits new events into LLMs and improves over conventional triplet-level editing on (1) Efficiency. A single event edit leads to updates in multiple entailed knowledge triplets. (2) Completeness. Beyond updating factual knowledge, event-level editing also requires considering the event influences and updating LLMs' knowledge about future trends. We construct a high-quality event-level editing benchmark ELKEN, consisting of 1,515 event edits, 6,449 questions about factual knowledge, and 10,150 questions about future tendencies. We systematically evaluate the performance of various knowledge editing methods and LLMs on this benchmark. We find that ELKEN poses significant challenges to existing knowledge editing approaches. Our codes and dataset are publicly released to facilitate further research.
• Abstract（参考訳）: 知識編集は、大きな言語モデル(LLM)の知識を更新することを目的としており、それらが時代遅れになるのを防ぐ。 既存の作業は、実知識三重項のレベルでLLMを編集する。 しかし、現実世界の自然知識の更新は、現実のトリプルの直接的変化ではなく、新しい出来事の発生によるものである。 本稿では,イベントレベルの知識編集という新しいタスクセットを提案する。これは,新しいイベントを直接LLMに編集し,(1)効率の従来の三重項レベルの編集よりも改善する。 単一のイベント編集は、複数の関連する知識三重項の更新につながる。 (2)完全性。 事実知識の更新以外にも、イベントレベルの編集では、イベントの影響を考慮し、将来のトレンドに関するLLMの知識を更新する必要がある。 我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。 本ベンチマークでは,様々な知識編集手法とLLMの性能を系統的に評価する。 ELKENは既存の知識編集アプローチに重大な課題をもたらす。 私たちのコードとデータセットは、さらなる研究を促進するために公開されています。

関連論文リスト

• How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
  本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。 新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。 知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
  論文  参考訳（メタデータ） (2024-06-25T03:41:02Z)
• Updating Language Models with Unstructured Facts: Towards Practical Knowledge Editing [87.35944788684958]
  我々は新しいベンチマークUnstructured Knowledge Editing (UKE)を提案する。 UKEは、構造化されていないテキストを直接知識更新として使用する編集性能を評価し、構造化されていない事実と呼ぶ。 新たに構築されたデータセットに関する広範な実験を行い、UKEが最先端の知識編集手法に重大な課題をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-02-29T07:08:34Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
  大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。 本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。 編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-17T16:34:50Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models [45.70959260613425]
  本稿では,大規模言語モデルのための知識編集フレームワークであるEasyEditを提案する。 様々な最先端の知識編集アプローチをサポートし、よく知られたLLMにも容易に適用できる。 我々はLlaMA-2の知識編集結果をEasyEditで報告し、知識編集が従来の微調整よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-14T16:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。