論文の概要: AKEW: Assessing Knowledge Editing in the Wild
- arxiv url: http://arxiv.org/abs/2402.18909v2
- Date: Thu, 10 Oct 2024 05:30:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:29:41.219387
- Title: AKEW: Assessing Knowledge Editing in the Wild
- Title(参考訳): akeW: 野生での知識編集を評価
- Authors: Xiaobao Wu, Liangming Pan, William Yang Wang, Anh Tuan Luu,
- Abstract要約: AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。
知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。
大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
- 参考スコア(独自算出の注目度): 79.96813982502952
- License:
- Abstract: Knowledge editing injects knowledge updates into language models to keep them correct and up-to-date. However, its current evaluations deviate significantly from practice: their knowledge updates solely consist of structured facts derived from meticulously crafted datasets, instead of practical sources -- unstructured texts like news articles, and they often overlook practical real-world knowledge updates. To address these issues, in this paper we propose AKEW (Assessing Knowledge Editing in the Wild), a new practical benchmark for knowledge editing. AKEW fully covers three editing settings of knowledge updates: structured facts, unstructured texts as facts, and extracted triplets. It further introduces new datasets featuring both counterfactual and real-world knowledge updates. Through extensive experiments, we demonstrate the considerable gap between state-of-the-art knowledge-editing methods and practical scenarios. Our analyses further highlight key insights to motivate future research for practical knowledge editing.
- Abstract(参考訳): 知識編集は知識の更新を言語モデルに注入し、それらを正確かつ最新に保つ。
しかし、その現在の評価は実践から大きく逸脱している。彼らの知識更新は、実践的な情報源ではなく、巧妙に構築されたデータセットから派生した構造化された事実で構成されている。
本稿では,知識編集のための新しい実践的ベンチマークであるAKEW(Assessing Knowledge Editing in the Wild)を提案する。
AKEWは知識更新の3つの編集設定を完全にカバーしている。
さらに、反ファクトと現実世界の知識更新を特徴とする新しいデータセットも導入されている。
大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
さらに,本分析は,今後の知識編集研究の動機となる重要な知見を浮き彫りにした。
関連論文リスト
- Cross-Lingual Multi-Hop Knowledge Editing -- Benchmarks, Analysis and a Simple Contrastive Learning based Approach [53.028586843468915]
言語横断的な設定で様々なSoTA知識編集技術の性能を計測・解析するための多言語多言語知識編集パラダイムを提案する。
具体的には、知識編集能力を測定するために並列言語間ベンチマーク CROLIN-MQUAKE を作成します。
次に,言語間マルチホップ知識編集システムであるCLEVER-CKEを提案する。
論文 参考訳(メタデータ) (2024-07-14T17:18:16Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳(メタデータ) (2024-02-17T16:34:50Z) - Propagation and Pitfalls: Reasoning-based Assessment of Knowledge
Editing through Counterfactual Tasks [36.292901021210575]
ReCoE(Reasoning-based Counterfactual Editing dataset)という新しい推論ベースのベンチマークを導入する。
我々は既存の知識編集技術を徹底的に分析し、入力強化、微調整、位置と編集を行う。
全てのモデル編集手法は、特に特定の推論スキームにおいて、このデータセットで顕著に低い性能を示す。
論文 参考訳(メタデータ) (2024-01-31T04:12:59Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - History Matters: Temporal Knowledge Editing in Large Language Model [42.74144542674756]
本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。
既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。
このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-09T07:51:56Z) - Assessing Knowledge Editing in Language Models via Relation Perspective [21.64869056276927]
本稿では,関係に基づく知識編集に焦点を当てたRaKEという新しいベンチマークを構築した。
我々は,様々な知識編集ベースラインを含む総合的な実験を評価・実施するための,革新的な指標のセットを構築した。
本研究結果は,関係に関する知識がFFNネットワークだけでなく,注目層にも蓄積されていることを確認する。
論文 参考訳(メタデータ) (2023-11-15T15:44:42Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳(メタデータ) (2022-09-27T12:26:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。