論文の概要: Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding
- arxiv url: http://arxiv.org/abs/2608.06532v1
- Date: Thu, 06 Aug 2026 19:33:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.269533
- Title: Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding
- Title（参考訳）: 財務ビジョンランゲージモデルにおける信頼度推定と文書理解
- Abstract要約: 我々は,5個のオープンウェイトLVLMを用いて,7つの信頼度推定器,3つの推論専用プローブ,4つの訓練された内部プローブを評価した。
それぞれのプローブは、自然画像のみに基づいて訓練され、適応せずにファイナンスに適用される。
- 参考スコア（独自算出の注目度）: 8.289856517294075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LVLMs are increasingly used to read financial charts, tables, and documents, where a single misread figure can move a decision and the most authoritative-looking answer is sometimes one the model produced without reading the exhibit. The operational question is therefore trust, not accuracy: which answers can be acted on, and which escalated to a reviewer. We evaluate seven confidence estimators, three inference-only and four trained internal probes, across five open-weight LVLMs and four conditions from three financial visual question-answering benchmarks, one bilingual; every probe is trained only on natural images and applied to finance without adaptation, so the results measure out-of-distribution transfer. Three findings hold. First, the scarce property is calibration, not ranking: the inference baselines rank correct above incorrect answers competitively but are badly overconfident, calibration error far above what a threshold can tolerate, and only the trained probes produce a thresholdable score. Second, reliability is structured rather than global, along two axes a practitioner can read directly: the best estimator shifts with both model and task, none leading more than eight of twenty (model, condition) cells, and a controlled bilingual contrast exposes an apparent language robustness as a composition artifact that dissolves once models are read one at a time. Third, cast as deferral under an error budget, how much can be safely automated is set first by the model's competence and only narrowed by its confidence, so deferral clears a real share of the easiest condition and almost none of the hardest, near zero at a strict 5% budget. Two trained probes carry the calibration a deferral policy needs, and among them only the grounding-aware one lowers its confidence on answers a model gives without using the figure, separating detected non-grounding from a fluent guess.
- Abstract（参考訳）: LVLMは財務表や表、文書を読むのにますます使われており、1つの誤った数字が決定を移動し、最も権威ある答えが展示を読むことなく生産されるモデルであることがある。
操作上の疑問は信頼であり、正確性ではなく、どの回答が実行され、どの回答がレビュアーにエスカレーションされるかである。
7つの信頼度推定器,3つの推論のみと4つのトレーニングされた内部プローブ,5つのオープンウェイトLVLM,および3つの財務視覚的質問応答ベンチマークの4つの条件,1つのバイリンガル,各プローブは自然画像のみに基づいて訓練され,適応せずにファイナンスに適用される。
3つの発見がある。
まず、不足する性質は、ランキングではなくキャリブレーションである: 推論基準線は、競争的に正しいが、非常に過度に自信があり、しきい値が許容できる範囲よりもはるかに高いキャリブレーション誤差があり、訓練されたプローブのみがしきい値を生成する。
第2に、信頼性はグローバルではなく、実践者が直接読むことができる2つの軸に沿って構成されている: モデルとタスクの両方で最適な推定器シフト、20の(モデル、条件)セルのうち8つ以上を導くことなく、制御されたバイリンガルコントラストは、一度に1つのモデルを読み取ると解ける構成人工物として、明らかな言語ロバスト性を明らかにする。
第3に、エラー予算の下でdeferralとしてキャストされ、どのくらい安全に自動化できるかは、モデルの能力によって第一に設定され、信頼性によってのみ制限されるため、deferralは最も簡単な条件の本当のシェアをクリアし、厳格な5%の予算で最も難しいほとんどゼロに近づかない。
2つの訓練されたプローブは、キャリブレーションに遅延ポリシーが必要であり、そのうちの1つは、モデルがフィギュアを使わずに与える回答に対する信頼度を低くし、検出された非接地を流動的な推測から分離するものである。
関連論文リスト
- ConfidenceBench: Evaluating Confidence Calibration in Large Language Models [14.831793255747181]
ConfidenceBenchは、大規模言語モデルのキャリブレーションベンチマークである。
15のフロンティア大言語モデルにおいて、言語化された信頼度の評価を行う。
信頼性はプロンプトを通じて引き起こされ、モデルロジットへのアクセスは不要である。
論文 参考訳（メタデータ） (2026-07-10T01:56:30Z) - Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models [4.0196226339562555]
ヴィジュアル言語モデルは、画像のほとんど使用しながら、医用画像に関する質問に、ゆるやかに、自信を持って答えることができる。
我々は,5つのオープンウェイトLVLMと3つの医用視覚質問応答データセットの信頼度推定器について検討した。
論文 参考訳（メタデータ） (2026-06-14T16:39:17Z) - LLMs Show No Signs Of Individuated Metacognition [0.023227405857540805]
20大言語モデルから二項信頼判断を分解する。
信頼性が異なる2つのモデルも性能が異なるかどうかを問う。
いずれの検査領域においても,有意な弁別メタ認知の証拠は見つからない。
論文 参考訳（メタデータ） (2026-05-22T23:54:33Z) - Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking [7.845652284569666]
本稿では,モデルに依存しない信頼度推定フレームワークBICR(Blind-Image Contrastive Ranking)を紹介する。
ライトウェイトプローブは、実像隠蔽状態に基づいてトレーニングされ、ブラックアウトビューに対する高い信頼度を罰するランキング損失によって正規化される。
5つの現代のLVLMと7つのベースラインで評価され、視覚的質問応答、オブジェクト検出、医用画像、財務文書理解に関するベンチマークが実施された。
論文 参考訳（メタデータ） (2026-05-11T17:35:10Z) - What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。
15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。
まず、評価設計は結論を根本的に変えることができる。
第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
論文 参考訳（メタデータ） (2026-05-03T20:05:08Z) - On Calibration of Large Language Models: From Response To Capability [66.59139960234326]
大規模言語モデル(LLM)は汎用的な問題解決手段として広くデプロイされている。
本稿では,クエリ上でモデルが期待する精度を目標とするキャリブレーションを提案する。
我々の結果は、キャパシティ校正された信頼度がpass@$k$予測と推論予算割り当てを改善することを示している。
論文 参考訳（メタデータ） (2026-02-14T01:07:45Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Can Large Language Models Express Uncertainty Like Human? [71.27418419522884]
我々は,人間に注釈を付けた信頼スコアを持つヘッジ式の最初の多種多様な大規模データセットをリリースする。
現代大言語モデルにまたがる言語信頼に関する最初の体系的研究を行う。
論文 参考訳（メタデータ） (2025-09-29T02:34:30Z) - ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。
LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
論文 参考訳（メタデータ） (2025-08-26T09:25:32Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。
これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。
言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
論文 参考訳（メタデータ） (2023-06-22T17:31:44Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-17T14:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。