論文の概要: Can Knowledge Editing Really Correct Hallucinations?
- arxiv url: http://arxiv.org/abs/2410.16251v1
- Date: Mon, 21 Oct 2024 17:55:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:13:09.188931
- Title: Can Knowledge Editing Really Correct Hallucinations?
- Title(参考訳): 知識編集は本当に正しい幻覚を編集できるのか?
- Authors: Baixiang Huang, Canyu Chen, Xiongxiao Xu, Ali Payani, Kai Shu,
- Abstract要約: 大規模言語モデル(LLM)は、タスクにまたがる優れた能力にもかかわらず、生成されたコンテンツの非現実的な情報を参照しながら幻覚に悩まされる。
知識編集は,LLMで符号化された誤った事実知識を,スクラッチからリトレーニングを避けるという利点によって補正する,新しい一般的なパラダイムとして開発された。
実世界の幻覚を正すための知識編集手法を全体ベンチマークするために,HaluEditBenchを提案する。
- 参考スコア(独自算出の注目度): 16.311982837980345
- License:
- Abstract: Large Language Models (LLMs) suffer from hallucinations, referring to the non-factual information in generated content, despite their superior capacities across tasks. Meanwhile, knowledge editing has been developed as a new popular paradigm to correct the erroneous factual knowledge encoded in LLMs with the advantage of avoiding retraining from scratch. However, one common issue of existing evaluation datasets for knowledge editing is that they do not ensure LLMs actually generate hallucinated answers to the evaluation questions before editing. When LLMs are evaluated on such datasets after being edited by different techniques, it is hard to directly adopt the performance to assess the effectiveness of different knowledge editing methods in correcting hallucinations. Thus, the fundamental question remains insufficiently validated: Can knowledge editing really correct hallucinations in LLMs? We proposed HalluEditBench to holistically benchmark knowledge editing methods in correcting real-world hallucinations. First, we rigorously construct a massive hallucination dataset with 9 domains, 26 topics and more than 6,000 hallucinations. Then, we assess the performance of knowledge editing methods in a holistic way on five dimensions including Efficacy, Generalization, Portability, Locality, and Robustness. Through HalluEditBench, we have provided new insights into the potentials and limitations of different knowledge editing methods in correcting hallucinations, which could inspire future improvements and facilitate the progress in the field of knowledge editing.
- Abstract(参考訳): 大規模言語モデル(LLM)は、タスクにまたがる優れた能力にもかかわらず、生成されたコンテンツの非現実的な情報を参照しながら幻覚に悩まされる。
一方、知識編集は、スクラッチからリトレーニングを避けるという利点を生かして、LLMに符号化された誤った事実知識を修正するために、新しい一般的なパラダイムとして開発された。
しかし、知識編集のための既存の評価データセットの一般的な問題は、LLMが編集前に評価質問に対する幻覚的な回答を実際に生成しないことである。
異なる手法によって編集された後、これらのデータセット上でLCMを評価した場合、幻覚の補正における異なる知識編集手法の有効性を評価するために、直接的にその性能を採用することは困難である。
知識編集はLLMの幻覚を本当に正しいものにできるのか?
実世界の幻覚を正すための知識編集手法を全体ベンチマークするために,HaluEditBenchを提案する。
まず、9つのドメイン、26のトピック、6000以上の幻覚を含む巨大な幻覚データセットを厳格に構築する。
そこで我々は,知識編集手法の性能を,有効性,一般化性,可搬性,局所性,ロバスト性を含む5次元で総合的に評価した。
HalluEditBenchを通じて、幻覚の修正における様々な知識編集手法の可能性と限界に関する新たな洞察を提供し、それによって今後の知識編集分野の進歩を促すことができる。
関連論文リスト
- How Well Can Knowledge Edit Methods Edit Perplexing Knowledge? [18.022428746019582]
本研究では,「複雑度」の異なる知識を取り入れた知識編集手法の能力について検討する。
新たな知識の「複雑さ」と12シナリオの編集効率との間に有意な負の相関関係が認められた。
知識階層が編集結果に与える影響のさらなる調査は、より階層的な水準にある知識が、いくつかのシナリオにおいて変更することがより困難であることを示唆している。
論文 参考訳(メタデータ) (2024-06-25T03:41:02Z) - Editing the Mind of Giants: An In-Depth Exploration of Pitfalls of Knowledge Editing in Large Language Models [26.516571783335824]
近年の研究では、知識の歪みや一般的な能力の劣化など、編集後に現れた副作用が特定されている。
本調査では,これらの側面を包括的に研究し,大規模言語モデルにおける知識編集に関わる課題を統一的に考察する。
論文 参考訳(メタデータ) (2024-06-03T15:28:21Z) - WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models [78.22291694903659]
大規模言語モデル(LLM)は、成長を続ける世界の事実に適合し、幻覚的応答を修正するために知識更新を必要とする。
更新された知識が記憶にどこに存在するかは、モデル編集の基本的な問題である。
記憶のギャップを埋めるためにWISEを提案する。
論文 参考訳(メタデータ) (2024-05-23T16:35:52Z) - Is Factuality Enhancement a Free Lunch For LLMs? Better Factuality Can Lead to Worse Context-Faithfulness [39.74642729786543]
我々は、現在の事実性向上手法は、大規模言語モデル(LLM)の文脈忠実性を著しく損なう可能性があると論じている。
実験の結果、これらの手法は事実の正確性に矛盾する改善をもたらす可能性があるが、文脈不信感の低下も引き起こすことが明らかとなった。
論文 参考訳(メタデータ) (2024-03-30T02:08:28Z) - Editing Conceptual Knowledge for Large Language Models [65.38231526537476]
本稿では,Large Language Models(LLMs)における概念知識の編集の先駆者となる。
本研究では,新しいベンチマークデータセットConceptEditを構築し,評価のための新しいメトリクスセットを確立する。
実験の結果,既存の編集手法は概念レベルの定義をある程度効率的に修正できるが,関連する瞬間的知識を歪ませる可能性も示された。
論文 参考訳(メタデータ) (2024-03-10T16:57:10Z) - Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models [89.13883089162951]
モデル編集は、大きな言語モデル(LLM)の振る舞いを、特定の知識に関連して正確に変更することを目的としている。
このアプローチは、LLMにおける幻覚や時代遅れの情報の問題に対処する上で有効であることが証明されている。
しかし、医療分野における知識の修正にモデル編集を用いることの可能性はほとんど解明されていない。
論文 参考訳(メタデータ) (2024-02-28T06:40:57Z) - Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。
LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。
LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
論文 参考訳(メタデータ) (2024-02-19T07:45:17Z) - The Dawn After the Dark: An Empirical Study on Factuality Hallucination
in Large Language Models [134.6697160940223]
幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。
幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。
本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
論文 参考訳(メタデータ) (2024-01-06T12:40:45Z) - Unveiling the Pitfalls of Knowledge Editing for Large Language Models [41.83423510576848]
知識編集が潜在的なリスクをもたらす副作用をもたらすかどうかはまだ不明である。
本稿では,大規模言語モデルの知識編集に伴う潜在的な落とし穴について検討する。
実験結果は、知識編集が意図しない結果の影を必然的に落としてしまうことを鮮明に示している。
論文 参考訳(メタデータ) (2023-10-03T15:10:46Z) - Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。
実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
論文 参考訳(メタデータ) (2023-08-19T09:17:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。