論文の概要: AKEW: Assessing Knowledge Editing in the Wild
- arxiv url: http://arxiv.org/abs/2402.18909v2
- Date: Thu, 10 Oct 2024 05:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:29:41.219387
- Title: AKEW: Assessing Knowledge Editing in the Wild
- Title（参考訳）: akeW: 野生での知識編集を評価
- Authors: Xiaobao Wu, Liangming Pan, William Yang Wang, Anh Tuan Luu,
- Abstract要約: AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。
知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。
大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
- 参考スコア（独自算出の注目度）: 79.96813982502952
- License:
- Abstract: Knowledge editing injects knowledge updates into language models to keep them correct and up-to-date. However, its current evaluations deviate significantly from practice: their knowledge updates solely consist of structured facts derived from meticulously crafted datasets, instead of practical sources -- unstructured texts like news articles, and they often overlook practical real-world knowledge updates. To address these issues, in this paper we propose AKEW (Assessing Knowledge Editing in the Wild), a new practical benchmark for knowledge editing. AKEW fully covers three editing settings of knowledge updates: structured facts, unstructured texts as facts, and extracted triplets. It further introduces new datasets featuring both counterfactual and real-world knowledge updates. Through extensive experiments, we demonstrate the considerable gap between state-of-the-art knowledge-editing methods and practical scenarios. Our analyses further highlight key insights to motivate future research for practical knowledge editing.
- Abstract（参考訳）: 知識編集は知識の更新を言語モデルに注入し、それらを正確かつ最新に保つ。
しかし、その現在の評価は実践から大きく逸脱している。彼らの知識更新は、実践的な情報源ではなく、巧妙に構築されたデータセットから派生した構造化された事実で構成されている。
本稿では,知識編集のための新しい実践的ベンチマークであるAKEW(Assessing Knowledge Editing in the Wild)を提案する。
AKEWは知識更新の3つの編集設定を完全にカバーしている。
さらに、反ファクトと現実世界の知識更新を特徴とする新しいデータセットも導入されている。
大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
さらに,本分析は,今後の知識編集研究の動機となる重要な知見を浮き彫りにした。
関連論文リスト
- Event-level Knowledge Editing [53.767465515537545]
既存の作業は、事実知識三重項のレベルで大きな言語モデル(LLM)を編集する。
イベントレベルの知識編集という新しいタスク設定を提案し,新しいイベントを直接LLMに編集する。
我々は,1,515件のイベント編集,6,449件の事実知識に関する質問,および10,150件の今後の傾向に関する質問からなる,高品質なイベントレベル編集ベンチマークELKENを構築した。
論文 参考訳（メタデータ） (2024-02-20T15:36:41Z) - Stable Knowledge Editing in Large Language Models [68.98582618305679]
本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。
人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。
StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
論文 参考訳（メタデータ） (2024-02-20T14:36:23Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳（メタデータ） (2024-01-02T16:54:58Z) - History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。
既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。
このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-09T07:51:56Z) - Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。
我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。
本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
論文 参考訳（メタデータ） (2023-11-15T15:44:42Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳（メタデータ） (2023-10-11T08:22:37Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳（メタデータ） (2023-08-19T09:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。