論文の概要: Evaluating Dependencies in Fact Editing for Language Models: Specificity
and Implication Awareness
- arxiv url: http://arxiv.org/abs/2312.01858v1
- Date: Mon, 4 Dec 2023 12:45:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 15:15:43.998198
- Title: Evaluating Dependencies in Fact Editing for Language Models: Specificity
and Implication Awareness
- Title(参考訳): 言語モデルのFact Editingにおける依存度の評価:具体性と含意意識
- Authors: Zichao Li, Ines Arous, Siva Reddy, Jackie C.K. Cheung
- Abstract要約: 学習した事実の編集が、知識の依存として知られる内部的な論理的制約を尊重することを確実にすることを目的としている。
LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙のバリエーションに適用されるべきである場合、依存関係の問題に部分的に対処している。
本稿では,関連する質問応答データセットであるDepEditを用いた評価プロトコルを提案し,編集プロセスの総合的な評価を行う。
- 参考スコア(独自算出の注目度): 26.589633375359647
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The potential of using a large language model (LLM) as a knowledge base (KB)
has sparked significant interest. To manage the knowledge acquired by LLMs, we
need to ensure that the editing of learned facts respects internal logical
constraints, which are known as dependency of knowledge. Existing work on
editing LLMs has partially addressed the issue of dependency, when the editing
of a fact should apply to its lexical variations without disrupting irrelevant
ones. However, they neglect the dependency between a fact and its logical
implications. We propose an evaluation protocol with an accompanying
question-answering dataset, DepEdit, that provides a comprehensive assessment
of the editing process considering the above notions of dependency. Our
protocol involves setting up a controlled environment in which we edit facts
and monitor their impact on LLMs, along with their implications based on
If-Then rules. Extensive experiments on DepEdit show that existing knowledge
editing methods are sensitive to the surface form of knowledge, and that they
have limited performance in inferring the implications of edited facts.
- Abstract(参考訳): 大きな言語モデル (LLM) を知識ベース (KB) として使う可能性には大きな関心が寄せられている。
LLMが獲得した知識を管理するためには、学習した事実の編集が、知識の依存性として知られる内部論理的制約を尊重することを保証する必要がある。
LLMの編集作業は、ある事実の編集が関係のないものを破壊することなく、その語彙の変化に適用されるべきである場合、依存関係の問題に部分的に対処している。
しかし、事実とその論理的意味の間の依存関係を無視する。
本稿では,上記の依存概念を考慮した編集プロセスの包括的評価を行う,質問応答型データセットであるdepeditを用いた評価プロトコルを提案する。
本プロトコルでは,Fif-Thenルールに基づいて,事実を編集し,LLMへの影響を監視する制御環境を構築する。
DepEditの大規模な実験により、既存の知識編集手法は知識の表面形態に敏感であり、編集事実の影響を推測する上で、限られた性能を有することが示された。
関連論文リスト
- Editing Conceptual Knowledge for Large Language Models [67.8410749469755]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Editing Factual Knowledge and Explanatory Ability of Medical Large
Language Models [95.4008873587564]
モデル編集は、特定の知識に基づいて大きな言語モデル(LLM)の振る舞いを正確に修正することを目的としている。
LLMの幻覚や時代遅れの問題の解決に有効であることが証明されている。
本稿では,2つのモデル編集研究を提案し,それらを医療領域で検証する。
論文 参考訳(メタデータ) (2024-02-28T06:40:57Z) - Knowledge Graph Enhanced Large Language Model Editing [37.6721061644483]
大規模言語モデル(LLM)は、自然言語処理(NLP)タスクの進行において重要な要素である。
既存の編集方法は、編集に関連する知識の変化を追跡し、組み込むのに苦労する。
知識グラフを利用した新しいモデル編集手法を提案し,LLM編集の強化,すなわちGLAMEを提案する。
論文 参考訳(メタデータ) (2024-02-21T07:52:26Z) - EVEDIT: Event-based Knowledge Editing with Deductive Editing Boundaries [69.72012539060731]
大規模言語モデル(LLM)における効率的な知識編集(KE)の理論的枠組みを導入する。
本稿では,事象をイベント記述と組み合わせたイベントベースの知識編集タスクを提案する。
編集モデルにおける不確実性を解消するための既存の設定よりもイベントベースの編集の方が優れていることを実証的に示す。
論文 参考訳(メタデータ) (2024-02-17T16:34:50Z) - Neighboring Perturbations of Knowledge Editing on Large Language Models [47.97101294017217]
本稿では,大規模言語モデル (LLM) に対する新たな知識の更新が,その内部にカプセル化された近隣の知識を乱すかどうかを考察する。
適応知識の摂動評価(PEAK)と呼ばれるベンチマークは、新しい知識を追加する際に隣り合う知識に摂動の程度を評価するために構築される。
論文 参考訳(メタデータ) (2024-01-31T06:49:36Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。
本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。
実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
論文 参考訳(メタデータ) (2023-10-03T15:10:46Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。