論文の概要: A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation

• arxiv url: http://arxiv.org/abs/2307.03987v2
• Date: Sat, 12 Aug 2023 14:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 19:22:11.925842
• Title: A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation
• Title（参考訳）: 時間内の縫い目は9を節約する:低信頼生成の検証によるllmの幻覚の検出と緩和
• Authors: Neeraj Varshney, Wenlin Yao, Hongming Zhang, Jianshu Chen, and Dong Yu
• Abstract要約: 大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
• 参考スコア（独自算出の注目度）: 76.34411067299331
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently developed large language models have achieved remarkable success in generating fluent and coherent text. However, these models often tend to 'hallucinate' which critically hampers their reliability. In this work, we address this crucial problem and propose an approach that actively detects and mitigates hallucinations during the generation process. Specifically, we first identify the candidates of potential hallucination leveraging the model's logit output values, check their correctness through a validation procedure, mitigate the detected hallucinations, and then continue with the generation process. Through extensive experiments with GPT-3.5 (text-davinci-003) on the 'article generation task', we first demonstrate the individual efficacy of our detection and mitigation techniques. Specifically, the detection technique achieves a recall of ~88% and the mitigation technique successfully mitigates 57.6% of the correctly detected hallucinations. Importantly, our mitigation technique does not introduce new hallucinations even in the case of incorrectly detected hallucinations, i.e., false positives. Then, we show that the proposed active detection and mitigation approach successfully reduces the hallucinations of the GPT-3.5 model from 47.5% to 14.5% on average. We further demonstrate the effectiveness and wide applicability of our approach through additional studies including performance on different types of questions (multi-hop and false premise questions) and with another LLM from a different model family (Vicuna). In summary, our work contributes to improving the reliability and trustworthiness of large language models, a crucial step en route to enabling their widespread adoption in real-world applications.
• Abstract（参考訳）: 近年、大規模な言語モデルが、フルーエントでコヒーレントなテキストを生成することに顕著な成功を収めている。 しかしながら、これらのモデルは、しばしば信頼性を著しく損なう「幻覚」を引き起こす傾向がある。 本研究では,この課題に対処し,生成過程において幻覚を積極的に検出し緩和する手法を提案する。 具体的には、まずモデルのロジット出力値を利用した潜在的幻覚の候補を特定し、検証手順によりそれらの正しさを確認し、検出された幻覚を緩和し、生成過程を継続する。 GPT-3.5(text-davinci-003)を用いた広範囲な実験を通じて,まず,検出・緩和技術の有効性を実証した。 特に、検出技術は88%のリコールを達成し、緩和技術は正しく検出された幻覚の57.6%を緩和することに成功した。 重要なことは,誤検出された幻覚,すなわち偽陽性の場合においても,新たな幻覚は導入されない。 そして,提案手法により,gpt-3.5モデルの幻覚を平均47.5%から14.5%に低減できることを示した。 さらに,様々な種類の質問(マルチホップと偽の前提質問)や,異なるモデルファミリー(vicuna)からの別の質問(llm)のパフォーマンスに関する追加研究を通じて,アプローチの有効性と幅広い適用性を示す。 まとめると、私たちの研究は、大規模な言語モデルの信頼性と信頼性の向上に寄与します。

関連論文リスト

• Alleviating Hallucination in Large Vision-Language Models with Active Retrieval Augmentation [21.31915988262898]
  本稿では,幻覚に対処するための新しいフレームワークであるActive Retrieval-Augmented Large Vision-Language Model(ARA)を紹介する。 実験により, 適応した検索機構とタイミングを加味することにより, 幻覚の問題を効果的に緩和できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-01T13:38:58Z)
• KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
  KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。 評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T02:52:07Z)
• InterrogateLLM: Zero-Resource Hallucination Detection in LLM-Generated Answers [12.427232123205671]
  大きな言語モデル(LLM)は、現実的に聞こえる答えを発明するが、現実の真実から遠ざかる。 本稿では,大規模言語モデルにおける幻覚検出手法を提案する。 実験では,Llama-2に対する87%の幻覚が観察され,その際,外部知識に頼らずに81%のバランス精度が得られた。
  論文  参考訳（メタデータ） (2024-03-05T11:50:01Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
  大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-23T04:39:01Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。