論文の概要: The Confidence Paradox: Can LLM Know When It's Wrong

• arxiv url: http://arxiv.org/abs/2506.23464v2
• Date: Tue, 28 Oct 2025 10:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.00025
• Title: The Confidence Paradox: Can LLM Know When It's Wrong
• Title（参考訳）: 信頼のパラドックス:LLMはいつ間違っているかを知ることができる
• Authors: Sahil Tripathi, Md Tabrez Nafis, Imran Hussain, Jiechao Gao,
• Abstract要約: Document Visual Question Answering (DocVQA)モデルは、しばしば過信または倫理的に不一致な応答を生成する。 重み付き損失とコントラスト学習を用いてモデルの信頼度と正しさを一致させるモデルに依存しない自己教師型フレームワークであるHonestVQAを提案する。
• 参考スコア（独自算出の注目度）: 5.445980143646736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Document Visual Question Answering (DocVQA) models often produce overconfident or ethically misaligned responses, especially under uncertainty. Existing models like LayoutLMv3, UDOP, and DONUT focus on accuracy but lack ethical calibration. We propose HonestVQA, a model-agnostic, self-supervised framework that aligns model confidence with correctness using weighted loss and contrastive learning. We introduce two new metrics Honesty Score (H-Score) and Ethical Confidence Index (ECI)-to evaluate ethical alignment. HonestVQA improves accuracy and F1 by up to 4.3% across SpDocVQA, InfographicsVQA, and SROIE datasets, while reducing overconfidence. It also generalizes well across domains, achieving 78.9% accuracy and 76.1% F1-score.
• Abstract（参考訳）: Document Visual Question Answering (DocVQA)モデルは、特に不確実性の下で、過信または倫理的に不一致な応答を生成することが多い。 LayoutLMv3、UDOP、DONUTといった既存のモデルは精度に重点を置いているが、倫理的な校正はしていない。 重み付き損失とコントラスト学習を用いてモデルの信頼度と正しさを一致させるモデルに依存しない自己教師型フレームワークであるHonestVQAを提案する。 倫理的アライメントを評価するために,Honesty Score(H-Score)とEthical Confidence Index(ECI)の2つの新しい指標を導入した。 HonestVQAは、SpDocVQA、InfographicsVQA、SROIEデータセット間の精度とF1を最大4.3%改善し、過信を低減している。 また、78.9%の精度と76.1%のF1スコアを達成している。

関連論文リスト

• Confidence-Diversity Calibration of AI Judgement Enables Reliable Qualitative Coding [0.0]
  10のテーマカテゴリにわたる8つの最先端のLCMから5,680のコーディング決定を分析する。 標準化されたシャノンのエントロピーとしてモデルの多様性を定量化することにより、この単一のキューは、ほぼ完全に合意を説明するデュアルシグナルへと変換される。
  論文  参考訳（メタデータ） (2025-08-04T03:47:10Z)
• Trust, or Don't Predict: Introducing the CWSA Family for Confidence-Aware Model Evaluation [0.0]
  信頼性重み付き選択精度(CWSA)と正規化変種CWSA+を紹介する。 CWSAは、信頼しきい値の下で予測モデルを評価するための原則的で解釈可能な方法を提供する。 CWSAとCWSA+は、信頼度の高いテストにおいて、ニュアンスド障害モードを効果的に検出し、古典的な指標より優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-24T10:07:48Z)
• REVAL: A Comprehension Evaluation on Reliability and Values of Large Vision-Language Models [59.445672459851274]
  REVALは、Large Vision-Language Modelsの textbfREliability と textbfVALue を評価するために設計された包括的なベンチマークである。 REVALには144K以上の画像テキストビジュアル質問回答(VQA)サンプルが含まれており、信頼性と価値の2つの主要なセクションで構成されている。 主流のオープンソースLVLMや,GPT-4oやGemini-1.5-Proといった著名なクローズドソースモデルを含む26のモデルを評価した。
  論文  参考訳（メタデータ） (2025-03-20T07:54:35Z)
• MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
  大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。 McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T05:09:29Z)
• Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models [3.958317527488534]
  大きな言語と視覚言語モデル(LLMs/VLMs)は、安全クリティカルなアプリケーションでますます使われている。 不確かさの定量化は、予測の信頼性を評価するのに役立ち、不確実性が高い場合の回避を可能にする。 本稿では,学習可能な禁忌法を提案し,強化学習(RL)と整形予測(CP)を統合して禁忌閾値を最適化する。
  論文  参考訳（メタデータ） (2025-02-08T21:30:41Z)
• Language Models Prefer What They Know: Relative Confidence Estimation via Confidence Preferences [62.52739672949452]
  言語モデル(LM)は、ユーザーがアウトプットの誤りを検知し、必要であれば人間の専門家に延期するのに役立つ、信頼性の高い信頼推定を提供する必要がある。 本稿では,相対的信頼度推定法を提案する。そこでは,相互に質問をマッチングし,モデルに信頼度を相対的に判断するよう求める。 各質問を、他の質問に対する「プレイヤー」として扱い、モデルの選好を一致結果として扱うことで、モデルの信頼性選好を信頼スコアに変換するために、Elo評価やBradley-Terryのようなランクアグリゲーション手法を使うことができる。
  論文  参考訳（メタデータ） (2025-02-03T07:43:27Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。