論文の概要: RBench-V: A Primary Assessment for Visual Reasoning Models with Multi-modal Outputs

• arxiv url: http://arxiv.org/abs/2505.16770v1
• Date: Thu, 22 May 2025 15:11:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.383844
• Title: RBench-V: A Primary Assessment for Visual Reasoning Models with Multi-modal Outputs
• Title（参考訳）: RBench-V:マルチモーダル出力を用いた視覚推論モデルの一次評価
• Authors: Meng-Hao Guo, Xuanyu Chu, Qianrui Yang, Zhe-Han Mo, Yiqing Shen, Pei-lin Li, Xinjie Lin, Jinnian Zhang, Xin-Sheng Chen, Yi Zhang, Kiyohiro Nakayama, Zhengyang Geng, Houwen Peng, Han Hu, Shi-Nin Hu,
• Abstract要約: 本稿では,モデルに必須な推論能力を評価するためのベンチマークRBench-Vを提案する。 特定の入力モダリティを規定する以前のベンチマークとは異なり、RBench-Vはマルチモーダル出力を中心とした問題を提示する。 最も優れたモデルであるo3でさえ、RBench-Vの精度はわずか25.8%であり、人間のスコアの82.3%よりはるかに低い。
• 参考スコア（独自算出の注目度）: 31.587908913442742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of native multi-modal models and omni-models, exemplified by GPT-4o, Gemini, and o3, with their capability to process and generate content across modalities such as text and images, marks a significant milestone in the evolution of intelligence. Systematic evaluation of their multi-modal output capabilities in visual thinking processes (also known as multi-modal chain of thought, M-CoT) becomes critically important. However, existing benchmarks for evaluating multi-modal models primarily focus on assessing multi-modal inputs and text-only reasoning while neglecting the importance of reasoning through multi-modal outputs. In this paper, we present a benchmark, dubbed RBench-V, designed to assess models' vision-indispensable reasoning abilities. To construct RBench-V, we carefully hand-pick 803 questions covering math, physics, counting, and games. Unlike previous benchmarks that typically specify certain input modalities, RBench-V presents problems centered on multi-modal outputs, which require image manipulation such as generating novel images and constructing auxiliary lines to support the reasoning process. We evaluate numerous open- and closed-source models on RBench-V, including o3, Gemini 2.5 Pro, Qwen2.5-VL, etc. Even the best-performing model, o3, achieves only 25.8% accuracy on RBench-V, far below the human score of 82.3%, highlighting that current models struggle to leverage multi-modal reasoning. Data and code are available at https://evalmodels.github.io/rbenchv
• Abstract（参考訳）: GPT-4o、Gemini、o3で実証されたネイティブマルチモーダルモデルとオムニモデルが急速に進歩し、テキストや画像などのモダリティをまたいだコンテンツを処理し、生成する能力は、インテリジェンスの進化において重要なマイルストーンとなる。 視覚的思考プロセス(M-CoT)におけるマルチモーダル出力能力の体系的評価が重要である。 しかし、既存のマルチモーダルモデル評価ベンチマークは、主にマルチモーダル出力による推論の重要性を無視しながら、マルチモーダル入力とテキストのみの推論を評価することに焦点を当てている。 本稿では,モデルの視覚に欠かせない推論能力を評価するためのベンチマークRBench-Vを提案する。 RBench-Vを構築するには、数学、物理学、数え方、ゲームに関する803の質問を慎重に手書きする。 特定の入力モダリティを規定する以前のベンチマークとは異なり、RBench-Vは、新しい画像の生成や、推論プロセスをサポートする補助線の構築といった画像操作を必要とするマルチモーダル出力を中心とした問題を提示する。 RBench-V上では,o3,Gemini 2.5 Pro,Qwen2.5-VLなど,多数のオープンソースモデルとクローズドソースモデルを評価した。 最高の性能モデルであるo3でさえRBench-Vで25.8%の精度しか達成していないが、現在のモデルではマルチモーダル推論の活用に苦戦している。 データとコードはhttps://evalmodels.github.io/rbenchvで入手できる。

関連論文リスト

• VLMT: Vision-Language Multimodal Transformer for Multimodal Multi-hop Question Answering [8.21219588747224]
  本稿では,視覚エンコーダとシーケンス・ツー・シーケンス言語モデルを統合する統一アーキテクチャであるVLMTについて述べる。 VLMTは直接トークンレベルの注入機構を使用して、共有埋め込み空間内で視覚的およびテキスト的入力を融合する。 2つのベンチマークデータセットに関する総合的な実験は、提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-04-11T05:51:44Z)
• VisualPRM: An Effective Process Reward Model for Multimodal Reasoning [76.35753243272521]
  既存のマルチモーダル大言語モデル(MLLM)の推論能力を改善するVisualPRMを導入する。 我々のモデルは7つのマルチモーダル推論ベンチマークで5.9ポイントの改善を実現している。 マルチモーダルPRMの評価のために,人間に注釈付きステップワイズラベルを付したベンチマークであるVisualProcessBenchを提案する。
  論文  参考訳（メタデータ） (2025-03-13T12:03:37Z)
• Multimodal RewardBench: Holistic Evaluation of Reward Models for Vision Language Models [82.92771279118888]
  マルチモーダル報酬モデルを評価するためのエキスパートアノテートベンチマークであるMultimodal RewardBenchを紹介する。 我々のデータセットは、様々な視覚言語モデルから収集された5,211個の注釈付き(プロンプト、選択された応答、拒否された応答)三つ子からなる。 Gemini 1.5 ProやClaude 3.5 Sonnetといったトップパフォーマンスモデルでさえ、全体的な精度は72%に過ぎません。
  論文  参考訳（メタデータ） (2025-02-20T01:48:13Z)
• CoMT: A Novel Benchmark for Chain of Multi-modal Thought on Large Vision-Language Models [60.08485416687596]
  Chain of Multi-modal Thought (CoMT)ベンチマークは、視覚操作を本質的に統合する人間のような推論を模倣することを目的としている。 我々は様々なLVLMと戦略をCoMT上で評価し、現在のアプローチの能力と限界に関する重要な洞察を明らかにした。
  論文  参考訳（メタデータ） (2024-12-17T14:10:16Z)
• MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities [146.4724093405187]
  MM-Vet v2は、"image-text sequence understanding"と呼ばれる新しい"image-text sequence understanding"機能を含んでいる。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。
  論文  参考訳（メタデータ） (2024-08-01T17:59:54Z)
• MMBench: Is Your Multi-modal Model an All-around Player? [114.45702807380415]
  視覚言語モデルのマルチモーダル能力を評価するためのベンチマークであるMMBenchを提案する。 MMBenchは、よく設計された品質制御スキームで慎重にキュレートされている。 MMBenchは英語版と中国語版の両方で複数の質問を取り入れている。
  論文  参考訳（メタデータ） (2023-07-12T16:23:09Z)
• Robustness of Fusion-based Multimodal Classifiers to Cross-Modal Content Dilutions [27.983902791798965]
  画像と既存のテキストとの関連性やトピックのコヒーレンスを維持する希釈テキストを生成するモデルを開発する。 その結果,タスク固有の融合型マルチモーダル分類器の性能はそれぞれ23.3%,22.5%低下することがわかった。 我々の研究は、深いマルチモーダルモデルの現実的な変動に対する堅牢性について、さらなる研究をハイライトし、奨励することを目的としている。
  論文  参考訳（メタデータ） (2022-11-04T17:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。