論文の概要: MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval

• arxiv url: http://arxiv.org/abs/2509.26378v1
• Date: Tue, 30 Sep 2025 15:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.594576
• Title: MR$^2$-Bench: Going Beyond Matching to Reasoning in Multimodal Retrieval
• Title（参考訳）: MR$^2$-Bench:マルチモーダル検索におけるマッチングと推論を超えて
• Authors: Junjie Zhou, Ze Liu, Lei Xiong, Jin-Ge Yao, Yueze Wang, Shitao Xiao, Fenfen Lin, Miguel Hu Chen, Zhicheng Dou, Siqi Bao, Defu Lian, Yongping Xiong, Zheng Liu,
• Abstract要約: マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。 マルチモーダル検索のための推論集約型ベンチマークであるMR$2$-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 86.35779264575154
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal retrieval is becoming a crucial component of modern AI applications, yet its evaluation lags behind the demands of more realistic and challenging scenarios. Existing benchmarks primarily probe surface-level semantic correspondence (e.g., object-text matching) while failing to assess the deeper reasoning required to capture complex relationships between visual and textual information. To address this gap, we introduce MR$^2$-Bench, a reasoning-intensive benchmark for multimodal retrieval. MR$^2$-Bench presents the following critical values: 1) all tasks are reasoning-driven, going beyond shallow matching to effectively assess models' capacity for logical, spatial, and causal inference; 2) it features diverse multimodal data, such as natural images, diagrams, and visual puzzles, enabling comprehensive evaluation across content types; 3) it supports complex queries and documents containing multiple images and covers diverse retrieval scenarios, more accurately reflecting real-world applications. Our benchmark contains 1,309 curated queries, derived either from manual collection and annotation or from selective consolidation of public datasets. Despite achieving strong results on existing benchmarks, current state-of-the-art models still struggle on MR$^2$-Bench: for example, the leading Seed1.6-Embedding model attains a Recall@1 of 77.78 on MMEB, but only 9.91 on MR$^2$-Bench. This substantial performance gap highlights both the increased challenge posed by our benchmark and the pressing need for further advances in reasoning-intensive multimodal retrieval. The dataset and evaluation code will be made publicly available at https://github.com/VectorSpaceLab/MR2-Bench.
• Abstract（参考訳）: マルチモーダル検索は、現代のAIアプリケーションにおいて重要なコンポーネントになりつつあるが、その評価は、より現実的で困難なシナリオの要求に遅れている。 既存のベンチマークは、主に表面レベルの意味対応(例えば、オブジェクト-テキストマッチング)を探索するが、視覚情報とテキスト情報の間の複雑な関係を捉えるのに必要な深い推論を評価できない。 このギャップに対処するため,マルチモーダル検索のための推論集約型ベンチマークMR$^2$-Benchを導入する。 MR$^2$-Benchは以下の臨界値を示す。 1) 全てのタスクは推論駆動であり、浅いマッチングを超えて、論理的、空間的、因果推論のためのモデルの能力を効果的に評価する。 2)自然画像,図形,視覚パズルなど多種多様なマルチモーダルデータを特徴とし,コンテンツの種類を包括的に評価することができる。 3)複数の画像を含む複雑なクエリとドキュメントをサポートし、より正確に現実世界のアプリケーションを反映して、多様な検索シナリオをカバーする。 ベンチマークには,手作業による収集とアノテーション,あるいは公開データセットの選択的な統合から導出される1,309のキュレートクエリが含まれている。 例えば、Seed1.6-EmbeddingモデルはMMEBでは77.78のリコール@1を達成しているが、MR$^2$-Benchでは9.91のみである。 この大きな性能差は、我々のベンチマークがもたらす課題の増加と、推論集約型マルチモーダル検索のさらなる進歩の必要性の両方を浮き彫りにする。 データセットと評価コードはhttps://github.com/VectorSpaceLab/MR2-Bench.comで公開されている。

関連論文リスト

• MM-BrowseComp: A Comprehensive Benchmark for Multimodal Browsing Agents [78.3863007028688]
  MM-BrowseCompは、224の挑戦的で手作りの質問からなる新しいベンチマークである。 これらの質問は、しばしば画像にプロンプトを組み込むが、検索と推論の過程で遭遇する重要な情報は、Webページ上の画像やビデオにも埋め込まれることがある。 MM-BrowseCompによる最先端モデルの総合評価では、OpenAI o3のようなツールを用いたトップモデルでさえ、わずか29.02%の精度しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-08-14T13:46:47Z)
• OST-Bench: Evaluating the Capabilities of MLLMs in Online Spatio-temporal Scene Understanding [16.1559012200066]
  エージェントの観点から,オンライン時空間理解を評価するためのベンチマークOST-Benchを紹介する。 効率的なデータ収集パイプライン上に構築されたOST-Benchは、ScanNet、Matterport3D、ARKitScenesから収集された1.4kのシーンと10kの質問応答ペアで構成されている。 複雑な空間的推論要求と長期記憶検索要求の両方が、2つの別々の軸に沿ってモデル性能を著しく低下させることがわかった。
  論文  参考訳（メタデータ） (2025-07-10T17:56:07Z)
• MTR-Bench: A Comprehensive Benchmark for Multi-Turn Reasoning Evaluation [56.87891213797931]
  大規模言語モデルに対するMTR-Benchの評価について述べる。 4つのクラス、40のタスク、3600のインスタンスを含むMTR-Benchは、様々な推論機能をカバーする。 MTR-Benchは、データセットの構築とモデル評価の両方にまたがる、完全に自動化されたフレームワークを備えている。
  論文  参考訳（メタデータ） (2025-05-21T17:59:12Z)
• MultiConIR: Towards multi-condition Information Retrieval [38.864056667809095]
  MultiConIRは、複雑なマルチ条件クエリシナリオ下での検索および再ランクモデルの評価のために設計されたベンチマークである。 ほとんどのレトリバーとリランカは、クエリの複雑さが増大するにつれて、パフォーマンスが大幅に低下する。 この研究は、リランカの性能劣化の原因を解明し、クエリ内の条件位置が類似性評価にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-03-11T05:02:03Z)
• REAL-MM-RAG: A Real-World Multi-Modal Retrieval Benchmark [16.55516587540082]
  本稿では,リアルタイム検索に不可欠な4つの重要な特性に対処する自動生成ベンチマークREAL-MM-RAGを紹介する。 本稿では,キーワードマッチング以外のモデルのセマンティック理解を評価するために,クエリリフレッシングに基づく多言語レベルのスキームを提案する。 我々のベンチマークでは、特にテーブル重ドキュメントの扱いや、クエリ・リフレージングに対する堅牢性において、重要なモデルの弱点が明らかになっている。
  論文  参考訳（メタデータ） (2025-02-17T22:10:47Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。