論文の概要: Fine-grained Hallucination Detection and Editing for Language Models
- arxiv url: http://arxiv.org/abs/2401.06855v3
- Date: Wed, 21 Feb 2024 22:20:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 18:02:05.617871
- Title: Fine-grained Hallucination Detection and Editing for Language Models
- Title(参考訳): 言語モデルのためのきめ細かい幻覚検出と編集
- Authors: Abhika Mishra, Akari Asai, Vidhisha Balachandran, Yizhong Wang, Graham
Neubig, Yulia Tsvetkov, Hannaneh Hajishirzi
- Abstract要約: 大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
- 参考スコア(独自算出の注目度): 114.28828114834657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LMs) are prone to generate factual errors, which are
often called hallucinations. In this paper, we introduce a comprehensive
taxonomy of hallucinations and argue that hallucinations manifest in diverse
forms, each requiring varying degrees of careful assessments to verify
factuality. We propose a novel task of automatic fine-grained hallucination
detection and construct a new evaluation benchmark, FavaBench, that includes
about one thousand fine-grained human judgments on three LM outputs across
various domains. Our analysis reveals that ChatGPT and Llama2-Chat (70B, 7B)
exhibit diverse types of hallucinations in the majority of their outputs in
information-seeking scenarios. We train FAVA, a retrieval-augmented LM by
carefully creating synthetic data to detect and correct fine-grained
hallucinations. On our benchmark, our automatic and human evaluations show that
FAVA significantly outperforms ChatGPT and GPT-4 on fine-grained hallucination
detection, and edits suggested by FAVA improve the factuality of LM-generated
text.
- Abstract(参考訳): 大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向がある。
本稿では,幻覚の包括的分類法を紹介し,幻覚は様々な形態で表され,それぞれが事実性を検証するために様々な段階の注意深い評価を必要とすると主張する。
そこで本研究では,各領域にまたがる3つのLM出力に対して,約1千個の微粒化人間の判断を含む,新しい評価ベンチマークFavaBenchを提案する。
分析の結果,ChatGPT と Llama2-Chat (70B, 7B) は多種多様な幻覚を示すことが明らかとなった。
合成データを慎重に作成し,細粒度幻覚の検出と修正を行い,検索提示型lmであるfavaを訓練した。
評価の結果, FAVAは, 微粒な幻覚検出においてChatGPTとGPT-4を著しく上回り, FAVAが提案する編集により, LM生成テキストの事実性が向上した。
関連論文リスト
- Hal-Eval: A Universal and Fine-grained Hallucination Evaluation
Framework for Large Vision Language Models [36.98580310654515]
我々は,新しいカテゴリーであるイベント幻覚(Event Hallucination)を特徴とする,幻覚の洗練された分類を導入した。
次に,多種多様な幻覚からなる微粒な幻覚データの生成とフィルタリングに高度LLMを利用する。
提案するベンチマークでは,広帯域の幻覚に対処するLVLMの能力を顕著に評価している。
論文 参考訳(メタデータ) (2024-02-24T05:14:52Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction
Data [106.42508109138788]
機械生成データに固有の幻覚は未発見である。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large
Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。
言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文 参考訳(メタデータ) (2023-05-19T15:36:27Z) - Plausible May Not Be Faithful: Probing Object Hallucination in
Vision-Language Pre-training [66.0036211069513]
大規模視覚言語事前学習モデルは、テキストを生成する際に、存在しない視覚オブジェクトを幻覚させる傾向がある。
標準メトリクスでより良いスコアを得るモデルは、オブジェクトをより頻繁に幻覚させる可能性があることを示す。
驚いたことに、パッチベースの機能が最も良く、より小さなパッチ解決は、オブジェクト幻覚の非自明な減少をもたらす。
論文 参考訳(メタデータ) (2022-10-14T10:27:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。