論文の概要: MMPCBench: Benchmarking Multimodal Large Language Models on Proactive Critique of Flawed Inputs

• arxiv url: http://arxiv.org/abs/2608.29286v1
• Date: Sat, 29 Aug 2026 14:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.91504
• Title: MMPCBench: Benchmarking Multimodal Large Language Models on Proactive Critique of Flawed Inputs
• Title（参考訳）: MMPCBench: 欠陥入力の積極的批判に基づくマルチモーダル大言語モデルのベンチマーク
• Abstract要約: 我々は、Proactive Critiqueを、追加のプロンプトなしで欠陥のあるユーザ入力を特定し、分析し、修正するモデルの自律的な能力として定義する。 MLLMの積極的批判能力を評価するための総合的なフレームワークMMPCBenchを提案する。 12のサブカテゴリにまたがる4つの主要なエラータイプのきめ細かい分類が特徴で、クロスモーダルな矛盾から視覚的前提の欠如まで様々である。
• 参考スコア（独自算出の注目度）: 16.970480774847857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Multimodal Large Language Models (MLLMs) evolve into sophisticated interactive assistants, their reliability depends not only on following instructions but also on validating them. We define Proactive Critique as the model's autonomous ability to identify, analyze and fix faulty user inputs without extra prompts. However, evaluations mainly test models under ideal circumstances or simple refusal behaviors, largely ignoring active error processing. To fill this gap, we propose MMPCBench, a comprehensive framework for evaluating MLLMs' proactive critique competence. It features a fine-grained taxonomy of 4 primary error types spanning 12 subcategories, ranging from cross-modal contradictions to missing visual premises. We adopt a hierarchical evaluation protocol to measure models' error detection, diagnosis and resolution performance, and apply alignment-aware metrics to assess the coherence between internal reasoning and final responses. Tests on 14 mainstream MLLMs show obvious weaknesses in proactive critique, especially in dealing with subtle visual anomalies. Notably, we identify a pervasive "consistency gap": reasoning models can often correctly identify and analyze errors during internal reasoning yet suppress these valid insights in final outputs to prioritize response compliance. The code and data is available at https://github.com/ALIENS32/MMPCBench.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)が高度な対話型アシスタントへと進化するにつれて、その信頼性は次の命令だけでなく、それらの検証にも依存する。 我々は、Proactive Critiqueを、追加のプロンプトなしで欠陥のあるユーザ入力を特定し、分析し、修正するモデルの自律的な能力として定義する。 しかし、評価は主に理想的な状況や単純な拒絶行動下でのテストモデルであり、主にアクティブなエラー処理を無視している。 このギャップを埋めるために,MLLMの積極的な批評能力を評価するための総合的なフレームワークMMPCBenchを提案する。 12のサブカテゴリにまたがる4つの主要なエラータイプのきめ細かい分類が特徴で、クロスモーダルな矛盾から視覚的前提の欠如まで様々である。 本研究では,モデルの誤り検出,診断,解決性能の測定に階層的評価プロトコルを採用し,内部推論と最終応答の整合性を評価するためにアライメント・アウェア・メトリクスを適用した。 14種類のMLLMの試験では、特に微妙な視覚異常に対するプロアクティブな批判において明らかな弱点が示されている。 推論モデルは、内部の推論中にエラーを正しく識別し分析することができるが、最終的なアウトプットにおけるこれらの有効な洞察を抑え、応答コンプライアンスを優先する。 コードとデータはhttps://github.com/ALIENS32/MMPCBench.comで公開されている。

関連論文リスト

• Position: It's Time to Optimize LLMs for Self-Consistency [50.68587056599734]
  多くの重要な障害は、事前および後トレーニングパイプラインの言語モデルに持続する。 これらの失敗は、パイプラインのすべての側面に浸透するモデリングの前提から生じます。 これらの失敗を理解するためのフレームワークとして,自己整合性を提案する。
  論文  参考訳（メタデータ） (2026-07-31T19:16:53Z)
• PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models [48.41009082629578]
  MLLM(Multimodal Large Language Models)の原子的視覚知覚能力を評価するためのベンチマークであるPerceptionBenchを紹介する。 42の既存ベンチマークにおけるフロンティアMLLMの応答における最初期の障害点を診断することにより、認識枝が10の原子知覚能力を定義する誤り分類を構築した。 この分類学に導かれ、我々は3000の検証された質問を短く、曖昧な答えで構築し、それぞれが一つの能力を持ち、理性や知識よりも知覚に起因した困難を伴う。
  論文  参考訳（メタデータ） (2026-07-27T18:04:54Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• PRISM-Bench: A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection [33.98107848014898]
  PRISM-Benchはマルチモーダル大言語モデル(MLLM)を評価するために設計されたパズルに基づく視覚的課題のベンチマークである。 PRISM-Benchは、最終回答精度のみを測定する以前の評価とは異なり、診断タスクを導入している: 視覚パズルと、正確に1つのエラーを含むステップバイステップの連鎖が与えられた場合、モデルは最初の誤ったステップを特定する必要がある。 PRISM-Benchのパズルは多段階の記号的、幾何学的、類推的推論を必要とし、表面的なパターンマッチングに基づくショートカットに抵抗する。
  論文  参考訳（メタデータ） (2025-10-27T17:57:52Z)
• Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
  ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。 我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。 結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
  論文  参考訳（メタデータ） (2025-09-27T06:50:24Z)
• Measuring Epistemic Humility in Multimodal Large Language Models [17.490955813494693]
  HumbleBench は,MLLM が正解ではないが誤解を拒否する能力を評価するために設計された,新しい幻覚ベンチマークである。 我々は、微粒なシーングラフアノテーションを利用して、地中構造体と関係を抽出し、GPT-4-Turboに多重選択質問を生成する。 HumbleBenchは、現在の評価スイートにおける重要なギャップを埋め、安全クリティカルな設定におけるMLLMの信頼性をより現実的に測定する。
  論文  参考訳（メタデータ） (2025-09-11T17:54:00Z)
• Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability [10.607081850023286]
  ISEval(Input Scrutiny Ability Evaluation Framework)は,7つの欠陥のある前提と3つの評価指標を含む。 ほとんどのモデルは、ガイダンスなしで欠陥のあるテキストの前提を積極的に検出するのに苦労している。 これらの知見は、LMMの入力妥当性の積極的な検証を強化する緊急の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-06T02:13:46Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• CLEAR: Error Analysis via LLM-as-a-Judge Made Easy [9.285203198113917]
  LLMに基づくエラー解析のための対話型オープンソースパッケージであるCLEARを紹介する。 CLEARはまずインスタンスごとのテキストフィードバックを生成し、次に一連のシステムレベルのエラー問題を生成し、それぞれの問題の有効性を定量化する。 当社のパッケージはユーザに対して,集計視覚化による包括的なエラー解析を可能にする,インタラクティブなダッシュボードも提供しています。
  論文  参考訳（メタデータ） (2025-07-24T13:15:21Z)
• Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models [11.379764847748378]
  大規模言語モデル(LLM)は、しばしば欠陥や矛盾した前提を受け入れ、非効率な推論と信頼できない出力をもたらす。 このことは、入力前提におけるエラーを積極的に識別し、明示する能力として定義されたLSMのためのtextbfPremise Critique Aabilities を持つことの重要性を強調している。 我々は,3つの難易度に4つのエラータイプを組み込んで設計したtextbfPremise Critique Bench (PCBench) を,多面的評価指標と組み合わせて紹介する。
  論文  参考訳（メタデータ） (2025-05-29T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。