論文の概要: HAD: HAllucination Detection Language Models Based on a Comprehensive Hallucination Taxonomy
- arxiv url: http://arxiv.org/abs/2510.19318v1
- Date: Wed, 22 Oct 2025 07:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:15.244007
- Title: HAD: HAllucination Detection Language Models Based on a Comprehensive Hallucination Taxonomy
- Title(参考訳): HAD:包括的幻覚分類に基づく幻覚検出言語モデル
- Authors: Fan Xu, Xinyu Hu, Zhenghan Yu, Li Lin, Xu Zhang, Yang Zhang, Wei Zhou, Jinjie Gu, Xiaojun Wan,
- Abstract要約: NLGタスクにまたがる11のカテゴリからなる総合的な幻覚分類を導入する。
本稿では,幻覚検出,スパンレベル同定,修正を単一の推論プロセスに統合するHAllucination Detection (HAD)モデルを提案する。
- 参考スコア(独自算出の注目度): 48.68088917291552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing reliance on natural language generation (NLG) models, particularly large language models, has raised concerns about the reliability and accuracy of their outputs. A key challenge is hallucination, where models produce plausible but incorrect information. As a result, hallucination detection has become a critical task. In this work, we introduce a comprehensive hallucination taxonomy with 11 categories across various NLG tasks and propose the HAllucination Detection (HAD) models https://github.com/pku0xff/HAD, which integrate hallucination detection, span-level identification, and correction into a single inference process. Trained on an elaborate synthetic dataset of about 90K samples, our HAD models are versatile and can be applied to various NLG tasks. We also carefully annotate a test set for hallucination detection, called HADTest, which contains 2,248 samples. Evaluations on in-domain and out-of-domain test sets show that our HAD models generally outperform the existing baselines, achieving state-of-the-art results on HaluEval, FactCHD, and FaithBench, confirming their robustness and versatility.
- Abstract(参考訳): 自然言語生成(NLG)モデル、特に大規模言語モデルへの依存が高まり、出力の信頼性と正確性に対する懸念が高まっている。
重要な課題は幻覚であり、モデルが可視だが誤った情報を生成する。
その結果,幻覚検出が重要な課題となった。
本研究では,11のカテゴリーにまたがる総合的な幻覚分類を導入し,Hallucination Detection (HAD) モデル https://github.com/pku0xff/HAD を提案する。
約90Kのサンプルからなる精巧な合成データセットに基づいて、我々のHADモデルは汎用的で、様々なNLGタスクに適用できる。
また、2,248個のサンプルを含むHADTestと呼ばれる幻覚検出用テストセットを慎重に注釈付けする。
ドメイン内およびドメイン外テストセットの評価は、私たちのHADモデルは、一般的に既存のベースラインを上回り、HaluEval、FactCHD、FaithBenchの最先端の結果を達成し、その堅牢性と汎用性を確認していることを示している。
関連論文リスト
- Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach [0.0]
大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な生成能力を示したが、幻覚に弱いままである。
複数世代にわたるトークンログ確率のばらつきを利用した,参照不要なトークンレベルの幻覚検出フレームワークを提案する。
我々のアプローチは、モデルに依存しず、解釈可能であり、リアルタイムまたはポストホック分析に適している。
論文 参考訳(メタデータ) (2025-07-05T19:20:59Z) - Learning Auxiliary Tasks Improves Reference-Free Hallucination Detection in Open-Domain Long-Form Generation [78.78421340836915]
オープンドメイン長文応答における参照なし幻覚検出を系統的に検討する。
その結果,内的状態は事実と幻覚的内容とを確実に区別するには不十分であることが判明した。
RATE-FTと呼ばれる新しいパラダイムを導入し、モデルが幻覚検出のメインタスクと共同で学習するための補助的なタスクで微調整を強化する。
論文 参考訳(メタデータ) (2025-05-18T07:10:03Z) - Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning [13.805780090705252]
そこで本研究では,異なるモデルの幻覚特異性に合わせたDFTGという命令データ生成フレームワークを提案する。
幻覚ベンチマークによる実験結果から,本手法で生成した目標命令データの方が,従来よりも幻覚の緩和に有効であることが示唆された。
論文 参考訳(メタデータ) (2024-04-16T07:14:32Z) - Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。
そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
論文 参考訳(メタデータ) (2024-03-03T02:31:11Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。