論文の概要: Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States

• arxiv url: http://arxiv.org/abs/2607.11414v1
• Date: Mon, 13 Jul 2026 11:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.44711
• Title: Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States
• Title（参考訳）: LLM内部状態からの金銭的質問に対する幻覚の検出
• Abstract要約: 厳密で不確実な回答は精査を招待する一方、自信のあるエラーは警告なしで下流の判断を静かに低下させる。 モデルの内部アクティベーションから、どれほど確実にそのような自信ある答え、あるいは自信ある幻覚が検出できるかを問う。 残差ストリーム上で線形プローブを訓練し、2つの確立された質問応答ベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) in financial applications fail most consequentially when they are confidently wrong. Hedged, uncertain answers invite scrutiny, whereas confident errors silently degrade downstream decisions without warning. We ask how reliably such confidently wrong answers, or confident hallucinations, can be detected from a model's internal activations, and whether those activations carry information beyond its observable outputs. We train linear probes on the residual stream and evaluate them on two established question-answering (QA) benchmarks built from real filings, FinQA and TAT-QA. Behavioral confidence is measured as the agreement among eight resampled answers to the same question, and probe effectiveness is compared against baselines, such as token log-probabilities and the model's own True/False self-assessment of its answer. Our findings show that among confident answers, those for which all eight resamples agree, 15-23% are wrong on FinQA. There the probes have a significant advantage over baseline methods in detecting hallucinations, holding 0.68-0.77 AUROC while the best baselines fall to 0.55-0.63, across Qwen3-8B, Llama-3.1-8B, and Gemma-2-9B. Our results suggest that probing can be a cost-effective triage mechanism for routing LLM answers to human review and quality control procedures in high-stakes financial applications.
• Abstract（参考訳）: 金融アプリケーションにおける大規模言語モデル(LLM)は、自信を持って間違っている場合に最も頻繁に失敗する。 厳密で不確実な回答は精査を招待する一方、自信のあるエラーは警告なしで下流の判断を静かに低下させる。 我々は、モデルの内部のアクティベーションから、そのような自信ある間違った答え、あるいは自信ある幻覚がどれほど検出できるか、そしてそれらのアクティベーションが観測可能なアウトプットを超えて情報を運ぶかどうかを問う。 我々は、残差ストリーム上の線形プローブをトレーニングし、実際のファイリング(FinQA)とTAT-QA(TAT-QA)の2つの確立された質問応答(QA)ベンチマークで評価する。 行動信頼度は同じ質問に対する8つの再サンプリングされた回答の一致として測定され、トークンログ確率やモデル独自のTrue/False自己評価などのベースラインに対してプローブの有効性が比較される。 以上の結果から,FinQAでは8つの再試案が一致した15～23%が誤りであった。 そこでは、この探査機は幻覚を検出するための基準線法よりも大きな優位性を持ち、0.68-0.77 AUROCを持ち、最高の基準線はQwen3-8B、Llama-3.1-8B、Gemma-2-9Bを越えて0.55-0.63に低下する。 この結果から,高額な金融アプリケーションにおいて,LLMの回答を人間のレビューや品質管理の手順にルーティングする上で,探索はコスト効率の良いトリアージ機構である可能性が示唆された。

関連論文リスト

• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• SELFDOUBT: Uncertainty Quantification for Reasoning LLMs via the Hedge-to-Verify Ratio [0.038379177968040606]
  言語モデル推論のための単一パス不確実性フレームワークであるSELFDOUBTを提案する。 私たちのキーシグナルであるHedge-to-Verify Ratio(HVR)は、推論トレースが不確実性マーカーを含むかどうかを検出し、もしそうであれば、明示的な自己チェック行動によってオフセットされているかどうかを検出する。 SELFDOUBTは単一の観測された推論軌道で動作し、任意のプロプライエタリなAPI上でのレイテンシとコスト制約によるデプロイメントに適している。
  論文  参考訳（メタデータ） (2026-04-07T19:19:29Z)
• Fact-Checking with Large Language Models via Probabilistic Certainty and Consistency [7.806516365113592]
  大規模言語モデル(LLM)は、事実の正確性を必要とするアプリケーションでますます使われている。 事実チェックはこれらのエラーを軽減することができるが、既存の手法は通常、外的証拠を無差別に回収する。 本稿では,確率的確実性と一貫性(PCC)について紹介する。
  論文  参考訳（メタデータ） (2026-01-05T21:57:41Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Reconfidencing LLMs from the Grouping Loss Perspective [56.801251926946485]
  大規模言語モデル(LLM)は、自信のある音調で幻覚的な答えを生じさせる可能性がある。 近年の研究では、不確実性制御はキャリブレーションを超えて行わなければならないことが示されている。 そこで我々は,MistralとLLaMAの回答に対する信頼度を評価するために,知識ベースから導出した新しい評価データセットを構築した。
  論文  参考訳（メタデータ） (2024-02-07T15:40:22Z)
• Eliciting Latent Knowledge from Quirky Language Models [1.8035046415192353]
  潜在知識の排除は、世界の本当の状態を確実に追跡する能力のあるニューラルネットワークのアクティベーションのパターンを見つけることを目的としている。 12のデータセットと、質問に答える際の体系的なエラーを微調整した「奇抜な」言語モデル(LM)スイートを導入します。 特に中層では、線形プローブは通常、LMが出力するものとは無関係に、LMの知識を報告する。
  論文  参考訳（メタデータ） (2023-12-02T05:47:22Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。