論文の概要: Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation

• arxiv url: http://arxiv.org/abs/2505.12265v1
• Date: Sun, 18 May 2025 07:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.129478
• Title: Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation
• Title（参考訳）: 学習補助課題がオープンドメイン長周期生成における基準自由幻覚検出を改善する
• Authors: Chengwei Qin, Wenxuan Zhou, Karthik Abinav Sankararaman, Nanshu Wang, Tengyu Xu, Alexander Radovic, Eryk Helenowski, Arya Talebzadeh, Aditya Tayade, Sinong Wang, Shafiq Joty, Han Fang, Hao Ma,
• Abstract要約: オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。 その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。 RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
• 参考スコア（独自算出の注目度）: 78.78421340836915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination, the generation of factually incorrect information, remains a significant challenge for large language models (LLMs), especially in open-domain long-form generation. Existing approaches for detecting hallucination in long-form tasks either focus on limited domains or rely heavily on external fact-checking tools, which may not always be available. In this work, we systematically investigate reference-free hallucination detection in open-domain long-form responses. Our findings reveal that internal states (e.g., model's output probability and entropy) alone are insufficient for reliably (i.e., better than random guessing) distinguishing between factual and hallucinated content. To enhance detection, we explore various existing approaches, including prompting-based methods, probing, and fine-tuning, with fine-tuning proving the most effective. To further improve the accuracy, we introduce a new paradigm, named RATE-FT, that augments fine-tuning with an auxiliary task for the model to jointly learn with the main task of hallucination detection. With extensive experiments and analysis using a variety of model families & datasets, we demonstrate the effectiveness and generalizability of our method, e.g., +3% over general fine-tuning methods on LongFact.
• Abstract（参考訳）: 事実的に誤った情報の生成である幻覚は、特にオープンドメインの長文生成において、大きな言語モデル(LLM)にとって重要な課題である。 長期タスクにおける幻覚を検出する既存のアプローチは、限られたドメインにフォーカスするか、外部のファクトチェックツールに大きく依存している。 本研究では,オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。 その結果, 内部状態(例えば, モデル出力確率とエントロピー)だけでは, 事実と幻覚的内容の区別を確実に行うには不十分であることが判明した。 検出性を高めるため,提案手法のプロンプト,探索,微調整など,様々な既存手法を探索し,最も効果的であることを示す。 さらに精度を向上させるために,モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化するRATE-FTという新しいパラダイムを導入する。 様々なモデルファミリーとデータセットを用いた広範囲な実験と分析により,LongFact のファインタニング法に対して,本手法の有効性と一般化性,例えば,+3% を実証した。

関連論文リスト

• Towards Long Context Hallucination Detection [49.195854802543714]
  大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。 それらは文脈の幻覚に傾向があり、与えられた文脈に不一致または矛盾した情報を生成する。 本稿では,BERTのような事前学習したエンコーダモデルを用いて,長期のコンテキストを処理し,文脈の幻覚を効果的に検出するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-04-28T03:47:05Z)
• KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models [17.435794516702256]
  大規模言語モデル(LLM)は自然言語処理(NLP)の開発に大きく進歩している。 モデル幻覚は、複雑な原因のため、自然言語生成(NLG)タスクにおいて依然として大きな課題である。 この研究は、生成モデルにおける特定の幻覚の問題を緩和し、実世界のアプリケーションにおけるその堅牢性と信頼性を高めるための新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2025-03-25T09:18:27Z)
• HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
  本稿では,HuDExと命名された幻覚検出モデルについて説明する。 提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
  論文  参考訳（メタデータ） (2025-02-12T04:17:02Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
  大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
  論文  参考訳（メタデータ） (2023-07-08T14:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。