論文の概要: The Confidence Paradox: Can LLM Know When It's Wrong

• arxiv url: http://arxiv.org/abs/2506.23464v1
• Date: Mon, 30 Jun 2025 02:06:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.889153
• Title: The Confidence Paradox: Can LLM Know When It's Wrong
• Title（参考訳）: 信頼のパラドックス:LLMはいつ間違っているかを知ることができる
• Authors: Sahil Tripathi, Md Tabrez Nafis, Imran Hussain, Jiechao Gao,
• Abstract要約: 倫理的に整合したDocVQAのための自己監督型正直校正フレームワークであるHonestVQAを紹介する。 本手法は,知識ギャップを同定するための不確実性を定量化し,重み付き損失関数を用いてモデル信頼度を実際の正しさと整合させ,対照的な学習を通じて倫理的応答行動を実施する。 実証的に、HoestVQAは、SpDocVQA、InfographicsVQA、SROIEデータセットでDocVQAの精度を最大4.3%、F1を4.3%向上させる。
• 参考スコア（独自算出の注目度）: 5.545086863155316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document Visual Question Answering (DocVQA) systems are increasingly deployed in real world applications, yet they remain ethically opaque-often producing overconfident answers to ambiguous questions or failing to communicate uncertainty in a trustworthy manner. This misalignment between model confidence and actual knowledge poses significant risks, particularly in domains requiring ethical accountability. Existing approaches such as LayoutLMv3, UDOP, and DONUT have advanced SOTA performance by focusing on architectural sophistication and accuracy; however, they fall short in ethical responsiveness. To address these limitations, we introduce HonestVQA, a self-supervised honesty calibration framework for ethically aligned DocVQA. Our model-agnostic method quantifies uncertainty to identify knowledge gaps, aligns model confidence with actual correctness using weighted loss functions, and enforces ethical response behavior via contrastive learning. We further introduce two principled evaluation metrics--Honesty Score (H-Score) and Ethical Confidence Index (ECI)--to benchmark alignment between confidence, accuracy, and ethical communication. Empirically, HonestVQA improves DocVQA accuracy by up to 4.3% and F1 by 4.3% across SpDocVQA, InfographicsVQA, and SROIE datasets. It reduces overconfidence, lowering H-Score and ECI by 0.072 and 0.078, respectively. In cross domain evaluation, it achieves up to 78.9% accuracy and 76.1% F1-score, demonstrating strong generalization. Ablation shows a 3.8% drop in accuracy without alignment or contrastive loss.
• Abstract（参考訳）: Document Visual Question Answering (DocVQA)システムは、現実世界のアプリケーションにますますデプロイされているが、不明瞭な質問に対する自信過剰な回答を倫理的に不透明に生成したり、信頼できる方法で不確実性を伝えることに失敗したりしている。 このモデル信頼と実際の知識の相違は、特に倫理的説明責任を必要とする領域において重大なリスクをもたらす。 LayoutLMv3、UDOP、DONUTといった既存のアプローチは、アーキテクチャの洗練と正確さに重点を置いてSOTA性能を向上しているが、倫理的応答性には乏しい。 これらの制約に対処するために,倫理的に整合したDocVQAのための自己監督的誠実な校正フレームワークであるHonestVQAを紹介する。 本手法は,知識ギャップを同定するための不確実性を定量化し,重み付き損失関数を用いてモデル信頼度を実際の正しさと整合させ,対照的な学習を通じて倫理的応答行動を実施する。 さらに、信頼性、正確性、倫理的コミュニケーションの整合性を評価するために、Honesty Score(H-Score)とEthical Confidence Index(ECI)の2つの原則的評価指標を導入する。 実証的に、HoestVQAは、SpDocVQA、InfographicsVQA、SROIEデータセットでDocVQAの精度を最大4.3%、F1を4.3%向上させる。 H-Score と ECI をそれぞれ0.072 と 0.078 に低下させる。 クロスドメイン評価では、78.9%の精度と76.1%のF1スコアを実現し、強力な一般化を示している。 アブレーションは、アライメントや対照的な損失なしに3.8%の精度の低下を示す。

関連論文リスト

• Trust, or Don't Predict: Introducing the CWSA Family for Confidence-Aware Model Evaluation [0.0]
  信頼性重み付き選択精度(CWSA)と正規化変種CWSA+を紹介する。 CWSAは、信頼しきい値の下で予測モデルを評価するための原則的で解釈可能な方法を提供する。 CWSAとCWSA+は、信頼度の高いテストにおいて、ニュアンスド障害モードを効果的に検出し、古典的な指標より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-24T10:07:48Z)
• REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
  REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。 REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。 主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
  論文  参考訳（メタデータ） (2025-03-20T07:54:35Z)
• MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
  大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。 McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T05:09:29Z)
• Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models [3.958317527488534]
  大きな言語と視覚言語モデル(LLMs/VLMs)は、安全クリティカルなアプリケーションでますます使われている。 不確かさの定量化は、予測の信頼性を評価するのに役立ち、不確実性が高い場合の回避を可能にする。 本稿では,学習可能な禁忌法を提案し,強化学習(RL)と整形予測(CP)を統合して禁忌閾値を最適化する。
  論文  参考訳（メタデータ） (2025-02-08T21:30:41Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。