論文の概要: Updating Language Models with Unstructured Facts: Towards Practical Knowledge Editing

• arxiv url: http://arxiv.org/abs/2402.18909v1
• Date: Thu, 29 Feb 2024 07:08:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 15:56:11.809856
• Title: Updating Language Models with Unstructured Facts: Towards Practical Knowledge Editing
• Title（参考訳）: 言語モデルの非構造化による更新: 実践的知識編集を目指して
• Authors: Xiaobao Wu, Liangming Pan, William Yang Wang, Anh Tuan Luu
• Abstract要約: 我々は新しいベンチマークUnstructured Knowledge Editing (UKE)を提案する。 UKEは、構造化されていないテキストを直接知識更新として使用する編集性能を評価し、構造化されていない事実と呼ぶ。 新たに構築されたデータセットに関する広範な実験を行い、UKEが最先端の知識編集手法に重大な課題をもたらすことを示した。
• 参考スコア（独自算出の注目度）: 87.35944788684958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge editing aims to inject knowledge updates into language models to keep them correct and up-to-date. However, its current evaluation strategies are notably impractical: they solely update with well-curated structured facts (triplets with subjects, relations, and objects), whereas real-world knowledge updates commonly emerge in unstructured texts like news articles. In this paper, we propose a new benchmark, Unstructured Knowledge Editing (UKE). It evaluates editing performance directly using unstructured texts as knowledge updates, termed unstructured facts. Hence UKE avoids the laborious construction of structured facts and enables efficient and responsive knowledge editing, becoming a more practical benchmark. We conduct extensive experiments on newly built datasets and demonstrate that UKE poses a significant challenge to state-of-the-art knowledge editing methods, resulting in their critical performance declines. We further show that this challenge persists even if we extract triplets as structured facts. Our analysis discloses key insights to motivate future research in UKE for more practical knowledge editing.
• Abstract（参考訳）: 知識編集は、言語モデルに知識の更新を注入し、それらを正確かつ最新に保つことを目的としている。 しかし、現在の評価戦略は特に非現実的であり、厳密な構造化された事実(主題、関係、対象のトリップレット)のみを更新するのに対して、現実世界の知識更新はニュース記事のような非構造化テキストに現れる。 本稿では,Unstructured Knowledge Editing (UKE) という新しいベンチマークを提案する。 非構造化テキストを知識更新として直接使用し、非構造化事実と呼ばれる編集性能を評価する。 したがって、UKEは構造化事実の面倒な構築を避け、効率的で応答性の高い知識編集を可能にし、より実用的なベンチマークとなる。 我々は,新たに構築したデータセットを広範囲に実験し,ukeが最先端の知識編集手法に重大な課題をもたらすことを実証した。 さらに,三重項を構造的事実として抽出しても,この課題は継続することを示す。 我々の分析は、より実践的な知識編集のために、イギリスにおける将来の研究を動機付ける重要な洞察を開示する。

関連論文リスト

• Event-level Knowledge Editing [53.767465515537545]
  既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。 イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。 我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
  論文  参考訳（メタデータ） (2024-02-20T15:36:41Z)
• Stable Knowledge Editing in Large Language Models [68.98582618305679]
  本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。 人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。 StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
  論文  参考訳（メタデータ） (2024-02-20T14:36:23Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
  本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。 既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。 このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-09T07:51:56Z)
• Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
  本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。 我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。 本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
  論文  参考訳（メタデータ） (2023-11-15T15:44:42Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。