論文の概要: AutoHall: Automated Hallucination Dataset Generation for Large Language
Models
- arxiv url: http://arxiv.org/abs/2310.00259v1
- Date: Sat, 30 Sep 2023 05:20:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 05:31:49.357927
- Title: AutoHall: Automated Hallucination Dataset Generation for Large Language
Models
- Title(参考訳): autohall: 大きな言語モデルのための自動幻覚データセット生成
- Authors: Zouying Cao, Yifei Yang, Hai Zhao
- Abstract要約: 本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
- 参考スコア(独自算出の注目度): 63.973142426228016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Large language models (LLMs) have garnered widespread applications
across various domains due to their powerful language understanding and
generation capabilities, the detection of non-factual or hallucinatory content
generated by LLMs remains scarce. Currently, one significant challenge in
hallucination detection is the laborious task of time-consuming and expensive
manual annotation of the hallucinatory generation. To address this issue, this
paper first introduces a method for automatically constructing model-specific
hallucination datasets based on existing fact-checking datasets called
AutoHall. Furthermore, we propose a zero-resource and black-box hallucination
detection method based on self-contradiction. We conduct experiments towards
prevalent open-/closed-source LLMs, achieving superior hallucination detection
performance compared to extant baselines. Moreover, our experiments reveal
variations in hallucination proportions and types among different models.
- Abstract(参考訳): 大規模言語モデル(LLM)は、言語理解と生成能力の強化により、様々な領域に広範に応用されているが、LLMが生成する非現実的あるいは幻覚的コンテンツの検出は依然として不十分である。
現在,幻覚検出における重要な課題は,幻覚発生の経時的かつ高価な手作業による注釈作成である。
本稿ではまず,既存のファクトチェックデータセットであるautohallに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
さらに,自己コントラストに基づくゼロリソース・ブラックボックス幻覚検出法を提案する。
オープン/クローズド・ソース LLM に対して実験を行い,既存のベースラインと比較して幻覚検出性能が優れていることを示す。
さらに,実験により異なるモデル間の幻覚の比率とタイプの変化が明らかになった。
関連論文リスト
- Unfamiliar Finetuning Examples Control How Language Models Hallucinate [80.497886066705]
大規模言語モデル(LLM)は、可聴性に富むが、実際には正しくない応答を生成する傾向にある。
我々は,長期化タスクに対する幻覚をより確実に緩和するRLアプローチを開発した。
論文 参考訳(メタデータ) (2024-03-08T18:28:13Z) - Retrieve Only When It Needs: Adaptive Retrieval Augmentation for
Hallucination Mitigation in Large Language Models [73.93616728895401]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。
本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-16T11:55:40Z) - Unified Hallucination Detection for Multimodal Large Language Models [45.80856612068866]
マルチモーダル大言語モデル(MLLM)は幻覚の重要な問題に悩まされている。
本稿では,幻覚検出手法の進歩を評価するために,メタ評価ベンチマークであるMHaluBenchを提案する。
我々は,幻覚の発生を確実に検証するために,一連の補助ツールを活用する,新しい統合型マルチモーダル幻覚検出フレームワークUNIHDを公表した。
論文 参考訳(メタデータ) (2024-02-05T16:56:11Z) - Fine-grained Hallucination Detection and Editing for Language Models [114.28828114834657]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳(メタデータ) (2024-01-12T19:02:48Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - HALO: An Ontology for Representing Hallucinations in Generative Models [3.4628430044380965]
Hallucination Ontology (HALO) はOWLで書かれており、大きな言語モデル(LLM)で見られる6種類の幻覚をサポートしている。
我々は,複数の独立したWebソースに対して帰納的に収集した幻覚を含むデータセットを公開し,このデータセットをモデル化し,有能な質問に答えるためにHALOをうまく利用できることを示す。
論文 参考訳(メタデータ) (2023-12-08T17:57:20Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction
Data [106.42508109138788]
機械生成データに固有の幻覚は未発見である。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - Trapping LLM Hallucinations Using Tagged Context Prompts [11.655802601887197]
本稿では,大規模言語モデルがドメイン知識の外部で実行された場合に,インスタンスを認識・フラグする新しい手法を提案する。
組込みタグと組み合わされたコンテキストを用いることで,生成言語モデル内の幻覚に対処できることが判明した。
論文 参考訳(メタデータ) (2023-06-09T17:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。