論文の概要: Measuring and Reducing LLM Hallucination without Gold-Standard Answers

• arxiv url: http://arxiv.org/abs/2402.10412v2
• Date: Thu, 6 Jun 2024 18:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 19:57:35.487133
• Title: Measuring and Reducing LLM Hallucination without Gold-Standard Answers
• Title（参考訳）: ゴールドスタンダードアンサーを使わずにLLM幻覚を計測・低減する
• Authors: Jiaheng Wei, Yuanshun Yao, Jean-Francois Ton, Hongyi Guo, Andrew Estornell, Yang Liu,
• Abstract要約: 幻覚は 事実的不正確で 説得力のある答えを生み出します 既存の幻覚測定には、ゴールド標準の回答を持つベンチマークデータセットが必要である。 FEWLは、ゴールドスタンダードの回答が欠落しているシナリオ用に特別に設計されている。
• 参考スコア（独自算出の注目度）: 25.274254957260904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM hallucination, i.e. generating factually incorrect yet seemingly convincing answers, is currently a major threat to the trustworthiness and reliability of LLMs. The first step towards solving this complicated problem is to measure it. However, existing hallucination metrics require having a benchmark dataset with gold-standard answers, i.e. "best" or "correct" answers written by humans. Such requirements make hallucination measurement costly and prone to human errors. In this work, we propose Factualness Evaluations via Weighting LLMs (FEWL), an innovative hallucination metric that is specifically designed for the scenario when gold-standard answers are absent. FEWL leverages the answers from off-the-shelf LLMs that serve as a proxy of gold-standard answers. The key challenge is how to quantify the expertise of reference LLMs resourcefully. We show FEWL has certain theoretical guarantees and demonstrate empirically it gives more accurate hallucination measures than naively using reference LLMs. We also show how to leverage FEWL to reduce hallucination through both in-context learning and supervised fine-tuning. Extensive experiment results on Truthful-QA, CHALE, and HaluEval datasets demonstrate the effectiveness of FEWL.
• Abstract（参考訳）: LLM幻覚(英: LLM Hallucination)とは、LLMの信頼性と信頼性に対する大きな脅威である。 この複雑な問題を解決するための最初のステップは、それを測定することです。 しかし、既存の幻覚測定基準では、人間によって書かれた「ベスト」または「正しい」回答という、ゴールド標準の回答を持つベンチマークデータセットが必要である。 このような要求により幻覚測定はコストがかかり、ヒューマンエラーが生じる。 本研究は,金標準解が存在しない場合のシナリオに特化して設計された,革新的幻覚尺度であるFactualness Evaluations via Weighting LLMs (FEWL)を提案する。 FEWL は金標準回答のプロキシとして機能する既製の LLM の回答を利用する。 鍵となる課題は、LLMの専門知識を資源的に定量化する方法である。 FEWLにはある程度の理論的保証があり、基準LDMよりも正確な幻覚対策が可能であることを実証的に示している。 また、FEWLを利用して、コンテキスト内学習と教師付き微調整の両方を通して幻覚を減らす方法を示す。 Truthful-QA, CHALE, HaluEvalデータセットの大規模な実験結果から, FEWLの有効性が示された。

関連論文リスト

• Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
  大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:47:44Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• Counterfactual Debating with Preset Stances for Hallucination Elimination of LLMs [45.38821594541265]
  大規模言語モデル(LLM)は様々な自然言語処理タスクに優れるが、幻覚に苦しむ。 本稿では, LLM 固有のバイアスをオーバーライドして解答検査を行うために, CFMAD フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-17T13:21:23Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。