論文の概要: Rethinking Multi-Image Re-Representation in Multi-Image Understanding

• arxiv url: http://arxiv.org/abs/2609.39363v1
• Date: Wed, 30 Sep 2026 09:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.51176
• Title: Rethinking Multi-Image Re-Representation in Multi-Image Understanding
• Title（参考訳）: マルチイメージ理解における複数画像再表現の再考
• Abstract要約: マルチイメージ理解では、MLLMは画像に分散した視覚的証拠を整理する必要がある。 我々は,この問題をマルチイメージの表現,視聴,思考の連鎖推論,エージェント的視覚ツールの使用を通じて研究した。 我々はMLLMが視覚中間体を積極的に構築できる汎用多目的視覚ハーネスであるMosaicを紹介した。
• 参考スコア（独自算出の注目度）: 29.93703637429005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-image understanding requires MLLMs not only to recognise the content of individual images, but also to organise visual evidence distributed across them. We study this problem through multi-image re-representation, viewing prompted Chain-of-Thought reasoning and agentic visual tool use as different ways of re-organising visual evidence during reasoning. We introduce Mosaic, a general-purpose multi-image visual harness that enables an MLLM to actively construct visual intermediates with ten composable image operations. We compare five re-representation settings on existing multi-image benchmarks and on MosaicBench, a new grounding-focused benchmark for fine-grained multi-image understanding. Our experiments show that the relative benefits of textual and visual re-representation are strongly task-dependent. Visual re-representation is particularly effective for tasks requiring precise visual evidence, including hypothesis testing, precision comparison, and orientation-sensitive reasoning, while tasks dominated by higher-level semantic content show smaller or less consistent gains. Building on this finding, we train MosaicAgent-8B to use Mosaic with reinforcement learning using only accuracy and format rewards. Without demonstration trajectories or rewards for specific tool-use, the agent learns to compose visual operations over multiple steps and exhibits diverse problem-solving patterns unpromptedly. Code and data will be released at https://github.com/gengyuanmax/Mosaic.
• Abstract（参考訳）: マルチイメージ理解では、MLLMは個々の画像の内容を認識するだけでなく、それらに分散した視覚的証拠を整理する必要がある。 複数画像の再表現によってこの問題を考察し、思考の連鎖的推論とエージェント的視覚ツールの使用を、推論中の視覚的証拠を再編成する様々な方法として用いた。 我々は、MLLMが10個の構成可能な画像操作で視覚中間体を積極的に構築できる汎用多目的視覚ハーネスであるMosaicを紹介した。 既存のマルチイメージのベンチマークと,よりきめ細かなマルチイメージ理解のための新たなグラウンドニング中心のベンチマークであるMosaicBenchの5つの再表現設定を比較した。 実験の結果,テキストと視覚的表現の相対的な利点はタスク依存に強く依存していることが判明した。 視覚的再表現は、仮説テスト、精度比較、指向性推論を含む正確な視覚的証拠を必要とするタスクに特に効果的である。 この発見に基づいて、MosaicAgent-8Bをトレーニングし、精度と形式報酬のみを用いて強化学習を行う。 特定のツール使用に対するデモンストレーションや報酬がなければ、エージェントは視覚的な操作を複数のステップで構成することを学び、さまざまな問題解決パターンを急激に示す。 コードとデータはhttps://github.com/gengyuanmax/Mosaic.comで公開される。

関連論文リスト

• More Images, More Problems? A Controlled Analysis of VLM Failure Modes [80.64323947730905]
  大規模視覚言語モデル (LVLM) は目覚ましい能力を示しているが、複数の画像に対する理解と推論の能力は未解明のままである。 LVLMのマルチイメージ能力を厳格に評価する新しいベンチマークMIMICを紹介する。
  論文  参考訳（メタデータ） (2026-01-12T18:45:13Z)
• Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models [58.91911788912665]
  より識別的な視覚表現の学習において,MLLMの学習を容易にする新しい学習フレームワークであるLaVerを提案する。 本手法はMLLMに対して直接視覚的アクティベーションを提供し,視覚的アサインメントが増大し,視覚情報の利用が向上したことを示す。
  論文  参考訳（メタデータ） (2025-12-06T04:20:13Z)
• From Easy to Hard: The MIR Benchmark for Progressive Interleaved Multi-Image Reasoning [27.117102717184597]
  Multi-image Interleaved Reasoningは、複数の画像とその関連するテキストコンテキストを共同で理解し、推論するマルチモーダル大言語モデル(MLLM)の能力を改善することを目的としている。 MIRは、画像領域と対応するテキストを正確に関連付けるために、インターリーブされたテキストコンテキストを伴う複数の画像に対する共同推論を必要とする。 提案手法は, MIRベンチマークおよび他の確立されたベンチマークにおいて, モデル推論性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-09-21T11:19:02Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs [98.27348724529257]
  ViCrit (Visual Caption Hallucination Critic) は、VLMを訓練し、人間の手書き画像キャプションの段落に挿入された微妙で合成的な視覚幻覚をローカライズするRLプロキシタスクである。 ViCrit Taskでトレーニングされたモデルは、さまざまなビジョン言語モデルベンチマークで大幅に向上している。
  論文  参考訳（メタデータ） (2025-06-11T19:16:54Z)
• The Role of Visual Modality in Multimodal Mathematical Reasoning: Challenges and Insights [26.85150689408895]
  既存のマルチモーダルな数学的モデルでは視覚情報を最小限に活用できることを示す。 これは、意図せずモデルに回答を誘導するテキスト情報と回答オプションの優位性に起因している。 先行モデルをテストする際、微妙な視覚的差異を検知できないことは、現在の視覚知覚能力の限界を示唆している。
  論文  参考訳（メタデータ） (2025-03-06T07:29:33Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。