論文の概要: PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2607.24957v1
- Date: Mon, 27 Jul 2026 18:04:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.585129
- Title: PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models
- Title（参考訳）: PerceptionBench: マルチモーダル大規模言語モデルにおける原子視覚知覚の評価
- Abstract要約: MLLM(Multimodal Large Language Models)の原子的視覚知覚能力を評価するためのベンチマークであるPerceptionBenchを紹介する。
42の既存ベンチマークにおけるフロンティアMLLMの応答における最初期の障害点を診断することにより、認識枝が10の原子知覚能力を定義する誤り分類を構築した。
この分類学に導かれ、我々は3000の検証された質問を短く、曖昧な答えで構築し、それぞれが一つの能力を持ち、理性や知識よりも知覚に起因した困難を伴う。
- 参考スコア（独自算出の注目度）: 48.41009082629578
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce PerceptionBench, a benchmark specifically designed to evaluate the atomic visual perception capabilities of Multimodal Large Language Models (MLLMs). Existing benchmarks often fail to isolate perception: holistic evaluations conflate perceptual errors with failures in reasoning or domain knowledge, while application-driven benchmarks only cover narrow, fragmented domains shaped by heuristic designs. To address these limitations, PerceptionBench adopts a bottom-up approach: by diagnosing the earliest failure points in the responses of frontier MLLMs across 42 existing benchmarks, we construct an error taxonomy whose perception branch defines ten atomic perceptual capabilities. Guided by this taxonomy, we construct 3,000 verified questions with short, unambiguous answers, each isolating a single capability, with difficulty stemming from perception rather than reasoning or knowledge. Benchmark results across sixteen frontier MLLMs reveal that atomic perception remains largely unsolved---no model reaches 60\% accuracy, perception-related hallucination is the weakest capability on average, and similar overall scores conceal sharply divergent capability profiles. PerceptionBench thus provides a capability-level standard for measuring and diagnosing the visual perception boundaries of MLLMs.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)の原子的視覚知覚能力を評価するためのベンチマークであるPerceptionBenchを紹介する。
全体的な評価は、推論やドメイン知識の失敗とパーセプティカルなエラーを区別するが、アプリケーション駆動のベンチマークはヒューリスティックな設計によって形成された狭い断片化されたドメインのみをカバーする。
これらの制限に対処するため、PerceptionBenchはボトムアップアプローチを採用し、42の既存のベンチマークでフロンティアMLLMの応答における最初期の障害点を診断することにより、認識分岐が10の原子知覚能力を定義するエラー分類を構築する。
この分類学に導かれ、我々は3000の検証された質問を短く、曖昧な答えで構築し、それぞれが一つの能力を持ち、理性や知識よりも知覚に起因した困難を伴う。
16のフロンティアMLLMのベンチマーク結果によると、原子知覚は未解決のままであり、その精度は60\%に達し、知覚関連幻覚は平均で最も弱い能力である。
PerceptionBenchは、MLLMの視覚的知覚境界の測定と診断のための能力レベル標準を提供する。
関連論文リスト
- MMPCBench: Benchmarking Multimodal Large Language Models on Proactive Critique of Flawed Inputs [16.970480774847857]
我々は、Proactive Critiqueを、追加のプロンプトなしで欠陥のあるユーザ入力を特定し、分析し、修正するモデルの自律的な能力として定義する。
MLLMの積極的批判能力を評価するための総合的なフレームワークMMPCBenchを提案する。
12のサブカテゴリにまたがる4つの主要なエラータイプのきめ細かい分類が特徴で、クロスモーダルな矛盾から視覚的前提の欠如まで様々である。
論文 参考訳（メタデータ） (2026-08-29T14:19:10Z) - KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation [9.739392718456843]
知識関連障害はしばしば別々に調査され、異なる幻覚の次元に統一的な評価枠組みが欠如している。
本研究では,知識幻覚を4次元にわたるマルチモーダル幻覚評価に明示的に組み込んだベンチマークであるKnowHalを提案する。
KnowHalは、共有された画像やエンティティに対して肯定的と否定的な2つの質問を構築し、知覚的エラー、知識関連エラー、虚偽の前提受け入れの制御された比較を可能にする。
論文 参考訳（メタデータ） (2026-08-04T15:03:29Z) - DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues [54.31138496553705]
DiCoBenchは、きめ細かい知覚のための包括的でマルチイメージの高解像度のベンチマークである。
評価の結果,人的精度 (98.3%) と比較して顕著な性能差がみられた。
DiCoBenchは、自律的で高解像度のマルチイメージ知覚における将来の研究を促進するための、挑戦的なテストベッドとして機能すると考えています。
論文 参考訳（メタデータ） (2026-06-25T05:02:38Z) - LTD-Bench: Evaluating Large Language Models by Letting Them Draw [57.237152905238084]
LTD-Benchは、大規模言語モデル(LLM)のブレークスルーベンチマークである。
LLMの評価を抽象的なスコアから直接観察可能な視覚出力に変換する。
LTD-Benchの視覚出力は強力な診断分析を可能にし、モデル類似性を調べるための潜在的アプローチを提供する。
論文 参考訳（メタデータ） (2025-11-04T08:11:23Z) - PRISM-Bench: A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection [33.98107848014898]
PRISM-Benchはマルチモーダル大言語モデル(MLLM)を評価するために設計されたパズルに基づく視覚的課題のベンチマークである。
PRISM-Benchは、最終回答精度のみを測定する以前の評価とは異なり、診断タスクを導入している: 視覚パズルと、正確に1つのエラーを含むステップバイステップの連鎖が与えられた場合、モデルは最初の誤ったステップを特定する必要がある。
PRISM-Benchのパズルは多段階の記号的、幾何学的、類推的推論を必要とし、表面的なパターンマッチングに基づくショートカットに抵抗する。
論文 参考訳（メタデータ） (2025-10-27T17:57:52Z) - Beyond the Visible: Benchmarking Occlusion Perception in Multimodal Large Language Models [17.922450921582794]
咬合知覚は、人間レベルの空間的理解にとって重要な基礎である。
我々は,オクルージョン知覚に特化して設計された最初の視覚的質問応答(VQA)ベンチマークであるO-Benchを紹介する。
論文 参考訳（メタデータ） (2025-08-06T03:39:21Z) - SpatialViz-Bench: An MLLM Benchmark for Spatial Visualization [44.427830927596204]
SpaceViz-Benchは4つのサブ能力にまたがる12のタスクを持つ空間視覚化のための総合的なベンチマークである。
33種類の最先端MLLMを評価した結果,多彩な性能の変動がみられ,反直感的な結果が得られた。
論文 参考訳（メタデータ） (2025-07-10T10:27:20Z) - VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。
これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。
ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
論文 参考訳（メタデータ） (2025-04-21T17:59:53Z) - AVTrustBench: Assessing and Enhancing Reliability and Robustness in Audio-Visual LLMs [70.4578433679737]
我々は9つの細工されたタスクにまたがる600万のサンプルからなるAudio-Visual Trustworthiness Assessment Benchmark (AVTrustBench)を紹介する。
ベンチマークを用いて、13の最先端AVLLMを広範囲に評価した。
その結果、既存のモデルのほとんどは、人間のような理解を達成できないことが判明した。
論文 参考訳（メタデータ） (2025-01-03T23:03:24Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。