論文の概要: PRISM-BENCH: Diagnosing Grounded and Faithful Multimodal Reasoning Beyond Final-Answer Accuracy
- arxiv url: http://arxiv.org/abs/2610.36554v1
- Date: Tue, 27 Oct 2026 03:02:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.472316
- Title: PRISM-BENCH: Diagnosing Grounded and Faithful Multimodal Reasoning Beyond Final-Answer Accuracy
- Title（参考訳）: PRISM-BENCH: ファイナルアンサーの正確性を超えた、根拠と忠実なマルチモーダル推論の診断
- Abstract要約: PRISM-BENCHは、5つの未表現の推論カテゴリにまたがる専門家による1000の質問のベンチマークである。
各項目は、ある人間の注釈によって書かれた理想的な推論トレースを持ち、別の項目によって検証される。
- 参考スコア（独自算出の注目度）: 30.593402763858354
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Final-answer accuracy reports whether a vision-language model was right, but not whether its answer was grounded in the image, whether its stated reasoning reflects that evidence, or what the answer cost to produce. Those are the properties that decide whether a system can be deployed. We present PRISM-BENCH, a benchmark of 1,000 expert-curated questions spanning five under-represented reasoning categories, in which every item carries an idealized reasoning trace written by one human annotator and validated by another. The traces support two diagnostics that accuracy cannot provide. A perception probe, in which the model answers from a description it wrote itself, attributes roughly 85% of frontier-model failures to misperception and places the bottleneck at grounding. Trace alignment predicts answer correctness for all 25 systems tested (macro AUROC 0.66) and survives length control, so it measures reasoning content and not verbosity. We further introduce CORE, an efficiency-aware metric that reorders 24.2% of model pairs relative to accuracy while remaining uncorrelated with response length. Across 25 open and closed systems, including GPT-5 and Claude Opus 4.6, the best accuracy is 66.0%. On the four categories with a human baseline the best system trails humans by 18.4 points, and recent frontier gains fall on recognition and not on spatial grounding.
- Abstract（参考訳）: 最終回答の精度は、視覚言語モデルが正しいかどうかを報告するが、その答えが画像に根拠があるかどうか、その説明された推論がその証拠を反映しているか、答えが生成するコストを反映しているかは問わない。
これらは、システムがデプロイ可能かどうかを決定するプロパティです。
PRISM-BENCH(PRISM-BENCH)は、5つの未表現推論カテゴリにまたがる1000の専門家による質問のベンチマークである。
トレースは精度が提供できない2つの診断をサポートする。
モデルが自ら書いた記述から答える知覚プローブは、フロンティアモデルの失敗のおよそ85%が誤認識であり、ボトルネックを土台に置く。
トレースアライメントは、テストされた25のシステム(macro AUROC 0.66)の答えの正しさを予測し、長さ制御を継続する。
さらに、COREは、応答長と相関しないまま、精度に対して24.2%のモデルペアを並べ替える効率を意識したメトリクスである。
GPT-5やClaude Opus 4.6を含む25のオープン・クローズド・システムで、最高の精度は66.0%である。
人間のベースラインを持つ4つのカテゴリーでは、最良のシステムは人間を18.4ポイント追尾し、最近のフロンティアは、空間的な接地ではなく認識によって低下する。
関連論文リスト
- ANCHOR: Audio-Visually Grounded Chain-of-Thought Reasoning Benchmark [9.766564977291873]
本稿では,マルチモーダル推論における接地条件アライメントのベンチマークおよび評価フレームワークであるANCHORを紹介する。
ANCHORは2,319の動画と8,272の質問応答対で構成されており、構造化された推論トレース、時間的証拠、空間的境界ボックス、健全なオーディオキューで構成されている。
直接的空間的および時間的接地測定により,回答の正しさ,幻覚,論理的発散,簡潔さを測定した。
論文 参考訳（メタデータ） (2026-10-16T05:38:11Z) - EviScope: Paired Counterfactual Evidence Diagnostics for Faithful and Efficient Grounded Language Models [0.0]
接地された言語モデルシステムは、しばしば最終回答の正確さによって評価されるが、正しい答えは、間違った情報源から引き出されたり、証拠が不十分であったり、矛盾しているときに生成される。
EviScopeはペア化された反ファクトのベンチマークで、その証拠の追加、削除、注意をそらす、あるいは矛盾しながら疑問を定めている。
論文 参考訳（メタデータ） (2026-09-15T12:18:19Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。
答えの正しさはあらゆるレベルで問題を構成する。
論文 参考訳（メタデータ） (2026-07-26T04:43:53Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Free Energy Heuristics: Fast-And-Frugal Cognition as Active Inference Under Uncertain Precision [0.0]
CoT(Chain-of-Thought)は、数学と記号的推論における大きな言語モデルの性能を改善する。
しかし、計画、倫理問題、モデルが自身をチェックできないタスクについて、さらなる推論は事態を悪化させます。
これはメタ不確実性(メタ不確実性)である、と我々は主張する。
論文 参考訳（メタデータ） (2026-06-14T16:04:09Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - Reasoning Graphs: Self-Improving, Deterministic RAG through Evidence-Centric Feedback [0.0]
言語モデルエージェントは、クエリ毎にスクラッチから推論し、各実行後に思考の連鎖を破棄する。
このグラフ構造は,エビデンス・チェーンを,評価項目に関連付けられた構造化されたエッジとみなす。
逐次クラスタプロトコル,高再利用デプロイメントシミュレーション,決定論的実験を用いて,MuSiQueとHotpotQAの評価を行った。
論文 参考訳（メタデータ） (2026-04-08T20:57:21Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳（メタデータ） (2025-04-29T12:39:07Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。