論文の概要: ConfProBench: A Confidence Evaluation Benchmark for MLLM-Based Process Judges
- arxiv url: http://arxiv.org/abs/2508.04576v1
- Date: Wed, 06 Aug 2025 16:00:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.806762
- Title: ConfProBench: A Confidence Evaluation Benchmark for MLLM-Based Process Judges
- Title（参考訳）: ConfProBench:MLLMベースのプロセス判断のための信頼性評価ベンチマーク
- Authors: Yue Zhou, Yi Chang, Yuan Wu,
- Abstract要約: プロプライエタリモデルとオープンソースモデルの両方を含む14の最先端MLLMを評価した。
我々は,MPJが生成するステップレベルの信頼度スコアの信頼性を体系的に評価する,最初の総合ベンチマークであるConfProBenchを提案する。
- 参考スコア（独自算出の注目度）: 15.47711837051754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning is a critical capability of multimodal large language models (MLLMs) for solving complex multimodal tasks, and judging the correctness of reasoning steps is crucial for improving this capability. Recently, MLLM-based process judges (MPJs) have been widely used to assess the correctness of reasoning steps in multimodal tasks. Therefore, evaluating MPJs is important for identifying their limitations and guiding future improvements. However, existing benchmarks for MPJs mainly focus on tasks such as step correctness classification and reasoning process search, while overlooking a key aspect: whether the confidence scores produced by MPJs at the step level are reliable. To address this gap, we propose ConfProBench, the first comprehensive benchmark designed to systematically evaluate the reliability of step-level confidence scores generated by MPJs. Our benchmark constructs three types of adversarially perturbed reasoning steps: Synonym Substitution, Syntactic Transformation, and Image Perturbation, to test the robustness of MPJ confidence under perturbations. In addition, we introduce three novel evaluation metrics: Confidence Robustness Score (CRS), Confidence Sensitivity Score (CSS), and Confidence Calibration Score (CCS), which evaluate robustness, sensitivity, and calibration, respectively. We evaluate 14 state-of-the-art MLLMs, including both proprietary and open-source models. Experiments reveal limitations in current MPJs' confidence performance and offer competitive baselines to support future research.
- Abstract（参考訳）: 推論は、複雑なマルチモーダルタスクを解くために、MLLM(Multimodal large language model)の重要な能力であり、推論ステップの正しさを判断することが、この能力を改善する上で重要である。
近年,マルチモーダルタスクにおける推論ステップの正しさを評価するためにMLLMベースのプロセス判断器 (MPJ) が広く用いられている。
したがって,MPJの評価は,その限界を特定し,今後の改善を導く上で重要である。
しかし、既存のMPJのベンチマークでは、ステップの正当性分類や推論プロセス探索といったタスクに重点を置いている。
このギャップに対処するために,MPJによるステップレベルの信頼度スコアの信頼性を体系的に評価する初の総合ベンチマークであるConfProBenchを提案する。
提案手法は,MPJの摂動下での信頼性の堅牢性を検証するために,構文置換,構文変換,画像摂動の3種類の逆摂動推論ステップを構築した。
さらに、信頼性ロバスト性スコア(CRS)、信頼感性スコア(CSS)、信頼校正スコア(CCS)の3つの新しい評価指標を導入し、それぞれ堅牢性、感度、校正性を評価した。
プロプライエタリモデルとオープンソースモデルの両方を含む14の最先端MLLMを評価した。
実験は、現在のMPJの信頼性性能の限界を明らかにし、将来の研究をサポートするための競争基盤を提供する。
関連論文リスト
- MMBoundary: Advancing MLLM Knowledge Boundary Awareness through Reasoning Step Confidence Calibration [2.1824579248418017]
本稿では,MLLMの知識境界認識を促進する新しいフレームワークMMBoundaryを提案する。
教師付き微調整に加えて,モデル知識の整合性を高めるために,複数の報酬関数を持つ強化学習ステージを導入する。
経験的な結果から、MMBoundaryはさまざまなドメインデータセットやメトリクスで既存のメソッドよりも大幅に優れています。
論文 参考訳（メタデータ） (2025-05-29T08:14:40Z) - ProJudge: A Multi-Modal Multi-Discipline Benchmark and Instruction-Tuning Dataset for MLLM-based Process Judges [13.957207630090064]
ProJudgeBenchはMLLMベースのプロセス判断器の能力を評価するために設計された最初のベンチマークである。
ProJudgeBenchは2,400件のテストケースと50,118件のステップレベルラベルで構成され、4つの科学分野にまたがっている。
ProJudgeBenchの評価は、オープンソースのモデルとプロプライエタリなモデルの間の大きなパフォーマンスギャップを明らかにしている。
論文 参考訳（メタデータ） (2025-03-09T10:55:51Z) - SteerConf: Steering LLMs for Confidence Elicitation [11.872504642312705]
大規模言語モデル(LLM)は、様々な領域で素晴らしいパフォーマンスを示すが、しばしば過剰な自信に悩まされる。
本稿では,LCMの信頼性スコアを体系的に評価し,キャリブレーションと信頼性を向上させる新しいフレームワークであるSteerConfを提案する。
論文 参考訳（メタデータ） (2025-03-04T18:40:49Z) - MCQA-Eval: Efficient Confidence Evaluation in NLG with Gold-Standard Correctness Labels [16.300463494913593]
大規模言語モデル (LLM) には堅牢な信頼度推定が必要である。
McQCA-Evalは、自然言語生成における信頼度を評価するための評価フレームワークである。
論文 参考訳（メタデータ） (2025-02-20T05:09:29Z) - How Reliable are LLMs as Knowledge Bases? Re-thinking Facutality and Consistency [60.25969380388974]
大規模言語モデル (LLM) は知識ベース (KB) として研究されている。
現在の評価手法は、信頼性の高い性能の他の決定的な基準を見越して、知識の保持に過度に焦点を絞っている。
我々は,事実と一貫性を定量化するための新しい基準と指標を提案し,最終的な信頼性スコアを導いた。
論文 参考訳（メタデータ） (2024-07-18T15:20:18Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - UBench: Benchmarking Uncertainty in Large Language Models with Multiple Choice Questions [10.28688988951815]
大規模言語モデル(LLM)の不確実性を評価するための新しいベンチマークであるUBenchを紹介する。
他のベンチマークとは異なり、UBenchは信頼区間に基づいている。知識、言語、理解、推論能力にまたがる11,978の多重選択質問を含んでいる。
1) 信頼性区間に基づく手法は不確実性定量化に極めて有効である; 2) 不確実性に関して、優れたオープンソースモデルは、クローズドソースモデルと競合する性能を示す; 3) CoT と RP は、モデル信頼性を改善するための潜在的方法を示し、温度変化の影響は普遍的な規則に従わない。
論文 参考訳（メタデータ） (2024-06-18T16:50:38Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。
品質報酬と秩序保存アライメント報酬機能を統合する。
実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-04-26T09:42:46Z) - Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。
このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。
このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
論文 参考訳（メタデータ） (2024-03-15T02:38:26Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳（メタデータ） (2024-02-19T21:12:14Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。