論文の概要: Beyond Binary Detection: Type-Aware Hallucination Analysis and Hierarchical Detection in Financial Question Answering

• arxiv url: http://arxiv.org/abs/2611.02258v1
• Date: Sun, 01 Nov 2026 22:26:11 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:49:37.277601
• Title: Beyond Binary Detection: Type-Aware Hallucination Analysis and Hierarchical Detection in Financial Question Answering
• Title（参考訳）: 二項検出を超えて:財務質問応答におけるタイプアウェア・ハロシン化分析と階層的検出
• Abstract要約: SECの提出書類から得られたベンチマークであるPHANTOMの幻覚検出について検討した。 本稿では,まず答えが幻覚的かどうかを判断し,次にサブタイプを割り当てる2段階階層型検出器を提案する。
• 参考スコア（独自算出の注目度）: 1.3465168113172192
• License:
• Abstract: Large language models are increasingly used to answer questions over financial filings, where an unfaithful answer can mislead investment, compliance, or client decisions. Hallucination detectors are a common safeguard, but they are usually evaluated with a single binary score that reveals neither which kinds of errors analysesed nor why. This paper studies hallucination detection on PHANTOM, a long-context benchmark built from SEC filings, at the level of hallucination type. We first analyze 15,443 paired hallucinated and faithful answers without any detector and find that hallucinated answers are more than twice as long as faithful ones, and that lexical grounding separates the two classes only because faithful answers are bimodal. We then generate hallucinations in nine financially motivated categories, confirm each with a separate verification pass, and diagnose an LLM-based detector on 4,086 usable examples. Generation success varies from 66.3% to 100% across categories. The detector reaches 80.2% binary accuracy but only 44.7% subtype accuracy, never assigns two of the nine categories, and misses between 5.3% and 46.8% of hallucinations depending on category; these misses are unrelated to input length but rise with how far an answer departs from the correct one. Guided by this diagnosis, we propose a two-stage hierarchical detector that first decides whether an answer is hallucinated and then assigns a subtype, raising binary accuracy to 95.6% and subtype accuracy to 56.1%. The results show that type-level evaluation exposes detector weaknesses that aggregate metrics conceal.
• Abstract（参考訳）: 大規模な言語モデルは、不誠実な答えが投資、コンプライアンス、クライアントの決定を誤解させる可能性のある、財務書類に関する質問に答えるためにますます使われています。 幻覚検出装置は一般的な安全保護装置であるが、通常は単一のバイナリスコアで評価され、どの種類のエラーが分析されたか、なぜ分析されたかは明らかにしない。 本稿では,SEC の申請書から構築した長期コンテキストベンチマーク PHANTOM の幻覚検出を幻覚型レベルで検討する。 最初に15,443対の幻覚と忠実な答えを検出せずに分析し、幻覚の答えが忠実な答えの2倍以上の長さであること、そして語彙的接地が2つのクラスを分離するのは、忠実な答えがバイモーダルであることからである。 次に,9つの経済的動機付けられたカテゴリーで幻覚を発生させ,それぞれ別の検証パスで確認し,使用可能な例4,086でLCMベースの検出器を診断する。 世代別成功率は66.3%から100%まで様々である。 検出器は80.2%の精度に達するが、サブタイプの精度は44.7%に過ぎず、9つのカテゴリのうち2つを割り当てることはなく、カテゴリーによっては5.3%から46.8%の幻覚を見逃す。 この診断で導かれた2段階階層型検出器は、まず解答が幻覚的かどうかを判断し、次にサブタイプを割り当て、バイナリ精度を95.6%、サブタイプ精度を56.1%に引き上げる。 その結果, タイプレベルの評価は, メトリクスを隠蔽する検出の弱点を露呈することがわかった。

関連論文リスト

• Target-Aware Curation of Hallucination Stress Tests for Large Language Models [34.81908139166387]
  幻覚ストレステストは、各モデルで異なる刺激が幻覚を誘発する場合でも、言語モデル全体で同様の平均スコアを得ることができる。 本研究では,ターゲットモデルに幻覚を露呈するために,ソースグラウンドのシードプロンプトを反復的に編集する手法を開発した。
  論文  参考訳（メタデータ） (2026-10-19T20:20:00Z)
• Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering [0.0]
  本稿では,2026 Task 2.1, textitIslamic Hallucination Detection and Find the Truthを提案する。 このタスクには、LLMによって生成されたアラビア回答が幻覚されているかどうかを判断し、6つの密接に関連する候補オプションから検証された回答を選択するという、統合された2段階の予測が必要である。 このシステムは,幻覚検出のためのマクロF1スコア0.928とラベル精度0.935と,回答選択のためのオプション精度0.895を達成している。
  論文  参考訳（メタデータ） (2026-08-04T14:19:53Z)
• Quantifying Hallucinations in Language Language Models on Medical Textbooks [5.868116026339879]
  教科書によるQAにおける幻覚の発生頻度と,QAに対する反応がモデルによって異なるのかを問う。 実験1ではLLaMA-70B-Instructが19.7%(95% CI 18.6～20.7)で幻覚した。
  論文  参考訳（メタデータ） (2026-02-12T16:16:35Z)
• MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
  MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。 GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。 双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
  論文  参考訳（メタデータ） (2025-02-20T06:33:23Z)
• Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
  LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。 この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:16Z)
• KnowHalu: Hallucination Detection via Multi-Form Knowledge Based Factual Checking [55.2155025063668]
  KnowHaluは、大規模言語モデル(LLM)によって生成されたテキスト中の幻覚を検出する新しいアプローチである ステップワイズ推論、マルチフォームクエリ、ファクトチェックのためのマルチフォーム知識、フュージョンベースの検出メカニズムを使用する。 評価の結果,KnowHaluは様々なタスクにおける幻覚検出においてSOTAベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-04-03T02:52:07Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。