論文の概要: Alleviating Hallucinations of Large Language Models through Induced
Hallucinations
- arxiv url: http://arxiv.org/abs/2312.15710v2
- Date: Mon, 11 Mar 2024 07:50:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 14:51:12.427609
- Title: Alleviating Hallucinations of Large Language Models through Induced
Hallucinations
- Title(参考訳): 誘発幻覚による大規模言語モデルの幻覚緩和
- Authors: Yue Zhang, Leyang Cui, Wei Bi, Shuming Shi
- Abstract要約: 大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
- 参考スコア(独自算出の注目度): 67.35512483340837
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite their impressive capabilities, large language models (LLMs) have been
observed to generate responses that include inaccurate or fabricated
information, a phenomenon commonly known as ``hallucination''. In this work, we
propose a simple \textit{Induce-then-Contrast} Decoding (ICD) strategy to
alleviate hallucinations. We first construct a factually weak LLM by inducing
hallucinations from the original LLMs. Then, we penalize these induced
hallucinations during decoding to enhance the factuality of the generated
content. Concretely, we determine the final next-token predictions by
amplifying the predictions from the original model and downplaying the induced
untruthful predictions via contrastive decoding. Experimental results on both
discrimination-based and generation-based hallucination evaluation benchmarks,
such as TruthfulQA and \textsc{FActScore}, demonstrate that our proposed ICD
methods can effectively enhance the factuality of LLMs across various model
sizes and families. For example, when equipped with ICD, Llama2-7B-Chat and
Mistral-7B-Instruct achieve performance comparable to ChatGPT and GPT4 on
TruthfulQA, respectively.
- Abstract(参考訳): 彼らの印象的な能力にもかかわらず、大きな言語モデル(LLM)は不正確な情報や製造された情報を含む応答を生成するために観察されてきた。
本研究は,幻覚を緩和するための単純な \textit{induce-then-contrast} decoding (icd) 戦略を提案する。
まず,本来のLLMから幻覚を誘導することにより,現実的に弱いLLMを構築する。
そして,デコード中に誘導された幻覚をペナルティ化し,生成したコンテンツの事実性を高める。
具体的には、元のモデルからの予測を増幅し、コントラスト復号により誘発された不正確な予測を軽視することにより、最終的な次の予測を決定する。
TruthfulQA や \textsc{FActScore} のような識別に基づく幻覚評価ベンチマークと世代別幻覚評価ベンチマークによる実験結果から,提案手法は様々なモデルサイズや家族におけるLCMの事実性を効果的に向上できることを示した。
例えば、ICDを搭載した場合、Llama2-7B-Chat と Mistral-7B-Instruct はそれぞれ TruthfulQA 上で ChatGPT と GPT4 に匹敵する性能を達成する。
関連論文リスト
- Unfamiliar Finetuning Examples Control How Language Models Hallucinate [80.497886066705]
大規模言語モデル(LLM)は、可聴性に富むが、実際には正しくない応答を生成する傾向にある。
我々は,長期化タスクに対する幻覚をより確実に緩和するRLアプローチを開発した。
論文 参考訳(メタデータ) (2024-03-08T18:28:13Z) - Fine-grained Hallucination Detection and Editing for Language Models [114.28828114834657]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳(メタデータ) (2024-01-12T19:02:48Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction
Data [106.42508109138788]
機械生成データに固有の幻覚は未発見である。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - A Survey on Hallucination in Large Language Models: Principles,
Taxonomy, Challenges, and Open Questions [42.007305423982515]
大型言語モデル(LLM)は幻覚を生じさせ、現実の事実やユーザ入力と矛盾する内容をもたらす。
本調査は, LLM幻覚の分野での最近の進歩について, 徹底的, 徹底的に概観することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T09:25:37Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large
Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。
言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文 参考訳(メタデータ) (2023-05-19T15:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。