論文の概要: MG-Thinker: Bi-Axial Self-Reflection for Multi-Image Reasoning Grounding
- arxiv url: http://arxiv.org/abs/2609.37374v1
- Date: Tue, 29 Sep 2026 12:28:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.48406
- Title: MG-Thinker: Bi-Axial Self-Reflection for Multi-Image Reasoning Grounding
- Title(参考訳): MG-Thinker:マルチイメージ推論グラウンドのためのバイ軸自己反射
- Abstract要約: MG-Thinkerはポストトレーニング後のRLフレームワークであり、新しいマルチイメージ推論パラダイムを推進している。
BiA-DAPOは、グループ内信号軸とグループ間コンピテンス軸に沿ってロールアウトの利点を分解する。
実験により,MG-Thinkerはマルチイメージ推論グラウンドで最先端の性能を達成することが示された。
- 参考スコア(独自算出の注目度): 40.883546755321525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has recently delivered substantial gains in multimodal reasoning, opening a promising route for fine-grained visual perception. Yet for multi-image reasoning grounding (MRG), reasoning over real-world multi-image contexts toward pixel-precise localization, existing RL-based approaches overlook two characteristics intrinsic to this paradigm: a coarse-to-fine hierarchical reasoning pattern, and heterogeneously distributed task--sample difficulties. In this work, we present MG-Thinker, a post-training RL framework that advances a new MRG paradigm featuring such hierarchical reasoning, supported by a curated 25K MRG dataset with task-adaptive Chain-of-Thought (CoT) annotations that elicit multi-perspective evidence before conclusion. To remedy the heterogeneous task--sample difficulties, we further propose Bi-Axial DAPO (BiA-DAPO), which decomposes rollout advantages along an intra-group signal axis and an inter-group competence axis through two complementary mechanisms, both grounded on our defined candidate pool for stable group-level statistics. Extensive experiments show that MG-Thinker achieves state-of-the-art performance on multi-image reasoning grounding while consistently improving generalization across multi-image understanding and diverse multimodal benchmarks.
- Abstract(参考訳): 強化学習(Reinforcement Learning, RL)は、最近、多モーダル推論において大きな進歩をもたらし、きめ細かい視覚知覚のための有望な道を開いた。
しかし、MRG(Multi-image reasoning Grounding)では、画素精度のローカライゼーションに向けた実世界のマルチイメージコンテキストを前提として、既存のRLベースのアプローチでは、このパラダイムに固有の2つの特徴を見落としている。
本稿では,タスク適応型Chain-of-Thought(CoT)アノテーションを付加した25K MRGデータセットによって得られた階層的推論を特徴とする,新しいMRGパラダイムを進化させるポストトレーニングRLフレームワークMG-Thinkerを紹介する。
さらに, グループ内信号軸とグループ間コンピテンス軸に沿ったロールアウト優位性を2つの相補的機構により分解し, グループレベルの安定な統計解析を行うBi-Axial DAPO(BiA-DAPO)を提案する。
実験の結果,MG-Thinkerはマルチモーダル・ベンチマークとマルチモーダル・ベンチマーク間の一般化を一貫して改善しつつ,マルチモーダル推論において最先端の性能を達成することが示された。
関連論文リスト
- GraMRAG: Orchestrating Multi-Agent Multi-Step Reasoning via Graph Memory with Reinforcement Learning [3.7070385396772916]
GraMRAGは、動的マルチモーダルメモリグラフを統合するグラフメモリ誘導マルチエージェントRAGフレームワークである。
ReActスタイルのビジュアルツールチェーンでマルチスケールのエンティティトリミングを統一するビジョンテキストブリッジ型推論パラダイムを導入する。
また,エージェント推論を動的指向非巡回グラフとして定式化するマルチモーダルメモリグラフを構築した。
論文 参考訳(メタデータ) (2026-09-12T17:28:45Z) - Reinforcing Structured Chain-of-Thought for Video Understanding [49.3086326382764]
概要駆動強化学習(SDRL)を紹介する。
SDRLは、Supervised Fine-Tuning (SFT)の必要性を回避したシングルステージのRLフレームワークである。
提案手法は、7つの公開ビデオQAデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2026-03-26T22:11:14Z) - Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。
既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。
本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
論文 参考訳(メタデータ) (2026-03-24T06:38:00Z) - Reasoning-Driven Multimodal LLM for Domain Generalization [72.00754603114187]
DomainBed-Reasoning データセットを用いた領域一般化における推論の役割について検討する。
MTCT(Multi-Task Cross-Training)とSARR(Self-Aligned Reasoning Regularization)の2つのコンポーネントからなるフレームワークであるRD-MLDGを提案する。
標準のDomainBedデータセットの実験は、RD-MLDGが補完的な最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2026-02-27T08:10:06Z) - PeRL: Permutation-Enhanced Reinforcement Learning for Interleaved Vision-Language Reasoning [50.21619363035618]
本稿では,マルチモーダルタスクのインターリーブに適した汎用強化学習手法PeRLを提案する。
空間的および位置的多様性を探索するために、様々な位置関係をシミュレートするために、画像列の置換を導入する。
実験の結果,PeRLのトレーニングモデルは,VLMベースラインを大きなマージンで,R1関連およびインターリーブしたVLMベースラインを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2025-06-17T18:25:56Z) - CMMCoT: Enhancing Complex Multi-Image Comprehension via Multi-Modal Chain-of-Thought and Memory Augmentation [12.008690947774015]
マルチイメージ理解のための「スロー思考」を模倣した多段階推論フレームワークを提案する。
重要な視覚領域トークンを利用したインターリーブマルチモーダル多段階推論チェーンの構築
推論中にモデル推論能力を拡張するテスト時メモリ拡張モジュールの導入。
論文 参考訳(メタデータ) (2025-03-07T09:13:17Z) - Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳(メタデータ) (2024-04-24T17:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。