論文の概要: When Financial Fine-tuning Fails: A Three-Level Detectability Analysis of Numerical Hallucination in Domain-Adapted Language Models

• arxiv url: http://arxiv.org/abs/2609.04806v1
• Date: Fri, 04 Sep 2026 07:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.941501
• Title: When Financial Fine-tuning Fails: A Three-Level Detectability Analysis of Numerical Hallucination in Domain-Adapted Language Models
• Title（参考訳）: ファイナンシャルファインチューニング障害:ドメイン適応言語モデルにおける数値幻覚の3レベル検出可能性解析
• Abstract要約: 我々は3つのモデル変種にわたる財務要約における数値幻覚の費用対効果、制御された研究を行う。 本稿では,過剰幻覚(通貨化製造),隠蔽排他幻覚(プロフェッショナル・コンベンション番号),隠蔽単純幻覚(アングラウンドド定量的クレーム)とを区別した3段階の検出可能性分類を導入する。 その結果,ドメインの微調整は,あらゆる検出可能性レベルにおいて,数値的な抑制を著しく低下させることがわかった。
• 参考スコア（独自算出の注目度）: 2.7815610525372523
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Financial large language models are increasingly deployed for summarization of reports and disclosures, where numerical hallucination poses significant practical risks. While prior work often attributes such hallucination to insufficient numerical reasoning, this assumption has not been systematically tested under controlled fine-tuning settings. In this paper, we conduct a cost-effective, controlled study of numerical hallucination in financial summarization across three model variants: a base instruction-tuned model, a domain language-adapted model (FT-A), and a numeracy-enhanced domain model (FT-A+B+C). We introduce a three-level detectability taxonomy distinguishing between overt hallucination (currency-denominated fabrication), covert-explicit hallucination (professional-convention numbers), and covert-implicit hallucination (ungrounded quantitative claims). Our results reveal that domain fine-tuning substantially degrades numerical restraint at all detectability levels. While the Base model maintains near-zero hallucination rates (5.4\%), FT-A exhibits 82.5\% overt hallucination and FT-A+B+C reaches 98\%. Contrary to intuition, numeracy supervision amplifies rather than mitigates hallucination across all levels. We identify template injection---the insertion of memorized canonical values regardless of input content---as a primary hallucination mechanism in fine-tuned models. These findings demonstrate that numerical hallucination in financial summarization is driven by the degradation of numerical restraint through domain adaptation, not by insufficient numerical reasoning. We recommend that evaluation protocols assess hallucination across all detectability levels and that deployment practices include explicit mechanisms for grounding-aware generation or abstention.
• Abstract（参考訳）: 金融大規模言語モデルは、数値幻覚が重大な実用的なリスクをもたらすレポートや開示の要約のために、ますます多くデプロイされている。 先行研究はしばしば、このような幻覚は不十分な数値推論に起因しているが、この仮定は制御された微調整条件下で体系的にテストされていない。 本稿では,基本命令調整モデル,ドメイン言語適応モデル(FT-A),数値拡張ドメインモデル(FT-A+B+C)の3つのモデルにまたがる,財務要約における数値幻覚のコスト効率よく制御された研究を行う。 本稿では,過剰幻覚(通貨化製造),隠蔽排他幻覚(プロフェッショナル・コンベンション・ナンバー),隠蔽単純幻覚(アングラウンドド・量的クレーム)を区別した3段階の検出可能性分類を導入する。 その結果,ドメインの微調整は,あらゆる検出可能性レベルにおいて,数値的な抑制を著しく低下させることがわかった。 ベースモデルはほぼゼロの幻覚率(5.4\%)を維持しているが、FT-Aは82.5\%の過剰幻覚を示し、FT-A+B+Cは98\%に達する。 直観とは対照的に、数的監督はすべてのレベルにおいて幻覚を緩和するよりも、増幅する。 テンプレートインジェクションは,入力内容に関係なく記憶された標準値の挿入を,微調整モデルにおける一次幻覚機構として同定する。 これらの結果から, 財務要約における数値幻覚は, 不十分な数値推論によってではなく, ドメイン適応による数値抑制の低下によって引き起こされることが明らかとなった。 評価プロトコルはすべての検出可能性レベルにわたって幻覚を評価することを推奨し、デプロイメントの実践には、グラウンドング・アウェア・ジェネレーションや棄権のための明確なメカニズムを含むことを推奨する。

関連論文リスト

• Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM [37.0916688511164]
  視覚的特徴抽出と画像とテキストの埋め込みの誤調整から幻覚が生じる視覚的オリジン幻覚の証拠を提示する。 本稿では、この問題を修正するために、ACFT(Adversarial Contrastive Fine-Tuning)を提案する。 ACFTは、LLaVA、MiniGPT-4、Qwen2.5-VLにまたがるPOPE、MME、および4つの記述レベル幻覚ベンチマークの最先端性能を達成する。
  論文  参考訳（メタデータ） (2026-08-31T18:38:24Z)
• Tone Matters: The Impact of Linguistic Tone on Hallucination in VLMs [9.81797972219297]
  VLM(Vision-Language Models)は、安全クリティカルなアプリケーションでの利用が増えている。 VLMは、ユーザプロンプトを満たすために画像に存在しない詳細を幻覚させることが多い。 本研究では,刺激圧の異なる形態が幻覚行動にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2026-01-10T07:00:22Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
  LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。 本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。 我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
  論文  参考訳（メタデータ） (2025-08-13T07:58:01Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
  我々は2万以上の実世界のサンプルからなる関係幻覚を対象とする総合的なベンチマークであるReefknotを紹介した。 関係幻覚を体系的に定義し、知覚的視点と認知的視点を統合するとともに、Visual Genomeのシーングラフデータセットを用いて関係ベースのコーパスを構築する。 本稿では,Reefknotを含む3つのデータセットに対して,幻覚率を平均9.75%削減する信頼性に基づく新たな緩和戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-18T10:07:02Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Quantity Matters: Towards Assessing and Mitigating Number Hallucination in Large Vision-Language Models [57.42800112251644]
  本研究では,画像中の特定の物体の数を誤って識別するモデルを参照しながら,特定の種類の幻覚数幻覚に焦点を当てた。 そこで,本研究では,数幻覚を減らすための一貫性向上を目的としたトレーニング手法を考案し,直接微調整法よりも8%の性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-03T02:31:11Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。