論文の概要: OMIBench: Benchmarking Olympiad-Level Multi-Image Reasoning in Large Vision-Language Model
- arxiv url: http://arxiv.org/abs/2604.20806v1
- Date: Wed, 22 Apr 2026 17:37:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-23 15:36:11.262903
- Title: OMIBench: Benchmarking Olympiad-Level Multi-Image Reasoning in Large Vision-Language Model
- Title（参考訳）: OMIBench:大規模視覚言語モデルにおけるオリンピックレベルマルチイメージ推論のベンチマーク
- Authors: Qiguang Chen, Chengyu Luan, Jiajun Wu, Qiming Yu, Yi Yang, Yizhuo Li, Jingqi Tong, Xiachong Feng, Libo Qin, Wanxiang Che,
- Abstract要約: OMIBenchはOlympiadレベルの推論を評価するために設計されたベンチマークである。
生物学、化学、数学、物理学からの問題や、手動で注釈付けされた有理数や評価プロトコルまで含んでいる。
Gemini-3-Proのような最強のLVLMでさえ、ベンチマークで50%しか達成できなかった。
- 参考スコア（独自算出の注目度）: 61.75860399057342
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large vision-language models (LVLMs) have made substantial advances in reasoning tasks at the Olympiad level. Nevertheless, current Olympiad-level multimodal reasoning benchmarks for these models often emphasize single-image analysis and fail to exploit contextual information across multiple images. We present OMIBench, a benchmark designed to evaluate Olympiad-level reasoning when the required evidence is distributed over multiple images. It contains problems from biology, chemistry, mathematics, and physics Olympiads, together with manually annotated rationales and evaluation protocols for both exact and semantic answer matching. Across extensive experiments on OMIBench, we observe meaningful performance gaps in existing models. Even the strongest LVLMs, such as Gemini-3-Pro, attain only about 50% on the benchmark. These results position OMIBench as a focused resources for studying and improving multi-image reasoning in LVLMs.
- Abstract（参考訳）: 大規模視覚言語モデル (LVLM) はオリンピアードレベルでの推論タスクにおいて大きな進歩を遂げた。
しかしながら、現在のOlympiadレベルのマルチモーダル推論ベンチマークは、多くの場合、単一画像解析を強調し、複数の画像にまたがるコンテキスト情報の活用に失敗する。
OMIBenchは,複数の画像上に必要証拠が分散されている場合のオリンピアードレベルの推論を評価するために設計されたベンチマークである。
生物学、化学、数学、物理学からの問題に加えて、手動で注釈付けされた有理数や評価プロトコルも含んでいる。
OMIBenchに関する広範な実験を通して、既存のモデルにおける有意義な性能ギャップを観察する。
Gemini-3-Proのような最強のLVLMでさえ、ベンチマークで50%しか達成できなかった。
これらの結果から,OMIBenchはLVLMにおけるマルチイメージ推論の研究と改善のためのリソースとして位置づけられた。
関連論文リスト
- MILR: Improving Multimodal Image Generation via Test-Time Latent Reasoning [75.76032840813828]
我々は,画像とテキストを結合的に関連づけるテストタイム手法MILRを提案する。
統合マルチモーダル理解・生成フレームワーク内でMILRをインスタンス化する。
我々は、GenEval、T2I-CompBench、WISE上でMILRを評価し、すべてのベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2025-09-26T14:06:10Z) - JourneyBench: A Challenging One-Stop Vision-Language Understanding Benchmark of Generated Images [72.42826916932519]
生成した画像のベンチマークであるJourneyBenchをリリースし、モデルの微細なマルチモーダル推論能力を評価する。
既存のベンチマークとは異なり、JourneyBenchは特異な想像上のシナリオにおいて、きめ細かいマルチモーダル推論を必要とする。
5つのタスクにまたがる結果から、JourneyBenchは最高のモデルでも非常に難しい。
論文 参考訳（メタデータ） (2024-09-19T17:58:16Z) - Multimodal Causal Reasoning Benchmark: Challenging Vision Large Language Models to Discern Causal Links Across Modalities [19.923665989164387]
MuCRはMultimodal Causal Reasoningベンチマークであり、合成シアム画像とテキストペアを利用してMLLMに挑戦する。
実験の結果,現在のMLLMはテキスト環境下での性能に比べ,マルチモーダル因果推論では不足していることがわかった。
本稿では,視覚的手がかりをより強調するVcCoT戦略を提案し,その効果がマルチモーダル因果推論の強化に有効であることを確認した。
論文 参考訳（メタデータ） (2024-08-15T12:04:32Z) - NPHardEval4V: Dynamic Evaluation of Large Vision-Language Models with Effects of Vision [64.83085920775316]
NPHardEval4Vは4つの古典的NPハード問題に基づくマルチモーダルベンチマークスイートである。
各タスクは、構造化された視覚レイアウトとテキストプロンプトを組み合わせることで、視覚言語的制約の下で推論を行うLVLMの能力を評価するように設計されている。
以上の結果から,これらのモデルは知覚に基づく入力に対して合理的に優れているが,グローバルな最適化,抽象化,制約満足度に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2024-03-04T07:10:31Z) - OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。
最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。
GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
論文 参考訳（メタデータ） (2024-02-21T18:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。