論文の概要: ROVER: Benchmarking Reciprocal Cross-Modal Reasoning for Omnimodal Generation

• arxiv url: http://arxiv.org/abs/2511.01163v1
• Date: Mon, 03 Nov 2025 02:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.08669
• Title: ROVER: Benchmarking Reciprocal Cross-Modal Reasoning for Omnimodal Generation
• Title（参考訳）: ROVER:Omnimodal ジェネレーションのための相互モード相互推論のベンチマーク
• Authors: Yongyuan Liang, Wei Chow, Feng Li, Ziqiao Ma, Xiyao Wang, Jiageng Mao, Jiuhai Chen, Jiatao Gu, Yue Wang, Furong Huang,
• Abstract要約: ROVERは1つのモダリティを使用して、もう1つの出力を誘導、検証、精査する。 ROVERは、相互モーダルな推論を明示的にターゲットとする、人間による注釈付きベンチマークである。
• 参考スコア（独自算出の注目度）: 79.17352367219736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models (UMMs) have emerged as a powerful paradigm for seamlessly unifying text and image understanding and generation. However, prevailing evaluations treat these abilities in isolation, such that tasks with multimodal inputs and outputs are scored primarily through unimodal reasoning, i.e., textual benchmarks emphasize language-based reasoning, while visual benchmarks emphasize reasoning outcomes manifested in the pixels. We introduce ROVER to address this pressing need to test reciprocal cross-modal reasoning, the use of one modality to guide, verify, or refine outputs in the other, an ability central to the vision of unified multimodal intelligence. ROVER is a human-annotated benchmark that explicitly targets reciprocal cross-modal reasoning, which contains 1312 tasks grounded in 1876 images, spanning two complementary settings. Verbally-augmented reasoning for visual generation evaluates whether models can use verbal prompts and reasoning chains to guide faithful image synthesis. Visually-augmented reasoning for verbal generation evaluates whether models can generate intermediate visualizations that strengthen their own reasoning processes for question answering. Experiments on 17 unified models reveal two key findings: (i) Cross-modal reasoning determines visual generation quality, with interleaved models significantly outperforming non-interleaved ones; notably, combining strong unimodal models fails to achieve comparable reasoning. (ii) Models show dissociation between physical and symbolic reasoning: they succeed at interpreting perceptual concepts literally but fail to construct visual abstractions for symbolic tasks, where faulty reasoning harms performance. These results highlight reciprocal cross-modal reasoning as a critical frontier for enabling true omnimodal generation.
• Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、テキストと画像の理解と生成をシームレスに統一するための強力なパラダイムとして登場した。 しかし、一般的な評価では、マルチモーダル入力とアウトプットを持つタスクは、主に単調な推論、すなわちテキストベンチマークが言語に基づく推論を強調するのに対して、ビジュアルベンチマークはピクセルに現れる推論結果を強調するなど、これらの能力を単独で扱うことができる。 ROVERを導入して、相互の相互モーダル推論をテストすること、一方のモーダルを使って他方のアウトプットを誘導、検証、精査すること、そして、統一マルチモーダルインテリジェンスのビジョンの中心となる能力について検討する。 ROVERは、1876年の画像に基づいた1312のタスクを含む相互モーダルな推論を明示的に対象とする、人間による注釈付きベンチマークである。 視覚生成のための垂直に拡張された推論は、モデルが忠実な画像合成を導くために言語的プロンプトと推論チェーンを使用できるかどうかを評価する。 言語生成のための視覚的に拡張された推論は、モデルが質問応答のための独自の推論プロセスを強化する中間的な視覚化を生成できるかどうかを評価する。 17種類の統一モデルの実験では、2つの重要な発見が示された。 (i)クロスモーダル推論は、インターリーブモデルが非インターリーブモデルよりも著しく優れており、視覚的生成品質を決定する。 二 モデルは、物理的推論と記号的推論の解離を示し、知覚的概念を文字通り解釈することに成功しているが、誤り推論が性能を損なうような象徴的タスクの視覚的抽象化の構築に失敗する。 これらの結果は、相反的クロスモーダル推論を真の全運動生成を可能にする重要なフロンティアとして強調する。

関連論文リスト

• ThinkMorph: Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning [76.95203056566191]
  マルチモーダル推論は言語と視覚の反復的調整を必要とするが、何が意味あるインターリーブド思考の連鎖を構成するかは定かではない。 我々はThinkMorphを開発した。ThinkMorphは、視覚的エンゲージメントの異なるタスクにまたがる、約24Kの高品質なインターリーブ付き推論トレースに基づいて微調整された統一モデルだ。 ThinkMorphは、一貫性のある言語論理を維持しながら、視覚的コンテンツを具体的に操作する、プログレッシブなテキストイメージ推論ステップを生成することを学ぶ。
  論文  参考訳（メタデータ） (2025-10-30T17:51:38Z)
• BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
  我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。 外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。 事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
  論文  参考訳（メタデータ） (2025-10-10T13:14:13Z)
• DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning [11.952788515297913]
  DeFactoは、正確な回答と忠実な推論を共同で実施する、反ファクト的推論フレームワークである。 本研究では,疑問関連証拠を自動的に局所化し,肯定的,反実的,ランダムな変種を構成するパイプラインを開発する。 多様なベンチマークの実験では、DeFactoは回答の正確さと忠実性の推論の両方を大幅に改善している。
  論文  参考訳（メタデータ） (2025-09-25T08:58:10Z)
• Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning [53.790502697674754]
  本稿では、画像入力を重要な推論段階に移行する戦略であるTake-Allong Visual Conditioning (TVC)を提案する。 TVCは、推論を通して視覚的なコンポーネントへの注意を維持するのに役立つ。 提案手法は,5つの数学的推論ベンチマークにおいて,最先端の性能を平均で達成する。
  論文  参考訳（メタデータ） (2025-03-17T16:45:12Z)
• R1-Onevision: Advancing Generalized Multimodal Reasoning through Cross-Modal Formalization [26.757458496178437]
  視覚知覚と深い推論のギャップを埋めるために設計されたマルチモーダル推論モデルであるR1-Onevisionを紹介する。 我々はR1-Onevisionデータセットを構築し、多様なドメインにまたがる詳細かつステップバイステップのマルチモーダル推論アノテーションを提供する。 先進的推論を育成するために,教師付き微調整と強化学習によりR1-Onevisionモデルをさらに発展させる。 実験結果から,R1-OnevisionはGPT-4oやQwen2.5-VLなど,最先端のモデルよりも優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-03-13T17:56:05Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。