論文の概要: VLM-R$^3$: Region Recognition, Reasoning, and Refinement for Enhanced Multimodal Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2505.16192v2
• Date: Fri, 30 May 2025 06:35:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:35.139053
• Title: VLM-R$^3$: Region Recognition, Reasoning, and Refinement for Enhanced Multimodal Chain-of-Thought
• Title（参考訳）: VLM-R$^3$: マルチモーダルチェーン強化のための領域認識, 推論, 精製
• Authors: Chaoya Jiang, Yongrui Heng, Wei Ye, Han Yang, Haiyang Xu, Ming Yan, Ji Zhang, Fei Huang, Shikun Zhang,
• Abstract要約: textbfVLM-R$3$ (textbfVisual textbfLanguage textbfModel with textbfRegion textbfRecognition and textbfReasoning) はMLLMに付加的な視覚的証拠が必要な場合にエフェクトを決定する機能を提供するフレームワークである。 MathVista、ScienceQA、その他のベンチマークの実験は、VLM-R$3$が新しいものを設定することを示している
• 参考スコア（独自算出の注目度）: 51.43082554363725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, reasoning-based MLLMs have achieved a degree of success in generating long-form textual reasoning chains. However, they still struggle with complex tasks that necessitate dynamic and iterative focusing on and revisiting of visual regions to achieve precise grounding of textual reasoning in visual evidence. We introduce \textbf{VLM-R$^3$} (\textbf{V}isual \textbf{L}anguage \textbf{M}odel with \textbf{R}egion \textbf{R}ecognition and \textbf{R}easoning), a framework that equips an MLLM with the ability to (i) decide \emph{when} additional visual evidence is needed, (ii) determine \emph{where} to ground within the image, and (iii) seamlessly weave the relevant sub-image content back into an interleaved chain-of-thought. The core of our method is \textbf{Region-Conditioned Reinforcement Policy Optimization (R-GRPO)}, a training paradigm that rewards the model for selecting informative regions, formulating appropriate transformations (e.g.\ crop, zoom), and integrating the resulting visual context into subsequent reasoning steps. To bootstrap this policy, we compile a modest but carefully curated Visuo-Lingual Interleaved Rationale (VLIR) corpus that provides step-level supervision on region selection and textual justification. Extensive experiments on MathVista, ScienceQA, and other benchmarks show that VLM-R$^3$ sets a new state of the art in zero-shot and few-shot settings, with the largest gains appearing on questions demanding subtle spatial reasoning or fine-grained visual cue extraction.
• Abstract（参考訳）: 近年、推論に基づくMLLMは、長文推論連鎖の生成に成功している。 しかし、彼らは、視覚的証拠におけるテキスト推論の正確な根拠を達成するために、視覚領域の動的かつ反復的な焦点と再考を必要とする複雑なタスクに苦慮している。 MLLMに同調するフレームワークである \textbf{VLM-R$^3$} (\textbf{V}isual \textbf{L}anguage \textbf{M}odel with \textbf{R}egion \textbf{R}ecognition and \textbf{R}easoning)を紹介する。 (i)追加の視覚的証拠が必要であると判断する。 (ii) \emph{where} を画像内の接地とし、 (iii)関連したサブイメージコンテンツをシームレスにインターリーブされたチェーン・オブ・ソートに織り戻す。 提案手法のコアとなるのは,情報領域の選択,適切な変換(例えば,作物,ズーム)の定式化,その後の推論ステップへの視覚的コンテキストの統合など,モデルに報いる訓練パラダイムである。 このポリシーをブートストラップするために、我々は、地域選択とテキストの正当性に関する段階的な監視を提供するVLIRコーパスを、控えめながら慎重にコンパイルする。 MathVista、ScienceQA、その他のベンチマークでは、VLM-R$^3$はゼロショットと数ショット設定で新しい最先端のセットを設定しており、最も大きな利益は微妙な空間的推論や微妙な視覚的キュー抽出を要求する質問に現れている。

関連論文リスト

• MedGround-R1: Advancing Medical Image Grounding via Spatial-Semantic Rewarded Group Relative Policy Optimization [19.70803794316208]
  医用画像グラウンドディング(MIG)は、テキスト記述に基づいて、医療画像内の特定の領域をローカライズする。 MIGの既存のビジョンランゲージモデル(VLM)は、大量のチェーン・オブ・ソート(CoT)推論アノテーションを持つスーパービジョンファインチューニング(SFT)に依存していることが多い。 本研究では,CoT推論アノテーションを使わずにモデルをトレーニングするための空間意味的回帰グループ相対ポリシー最適化を提案する。
  論文  参考訳（メタデータ） (2025-07-01T21:51:42Z)
• VGR: Visual Grounded Reasoning [24.19194463566865]
  本稿では,高精細な視覚知覚能力を備えた新しい推論型マルチモーダル言語モデル(MLLM)であるVGRを紹介する。 言語空間にのみ答える従来のMLLMとは異なり、VGRはまず、問題の解決に役立つ可能性のある関連領域を検出し、次に再生された画像領域に基づいて正確な回答を提供する。
  論文  参考訳（メタデータ） (2025-06-13T17:47:43Z)
• Reinforcing Spatial Reasoning in Vision-Language Models with Interwoven Thinking and Visual Drawing [62.447497430479174]
  空間における推論への描画は、視覚空間における基本的な描画操作を通じてLVLMを推論できる新しいパラダイムである。 我々のモデルはVILASRと呼ばれ、様々な空間推論ベンチマークで既存の手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-06-11T17:41:50Z)
• Perceptual Decoupling for Scalable Multi-modal Reasoning via Reward-Optimized Captioning [78.17782197231325]
  本稿では,抽出者のキャプション動作と推論目的を一致させる推論誘導型強化学習戦略を提案する。 マルチモーダルな数学と科学ベンチマークの実験により、提案手法は最先端の平均性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• SVQA-R1: Reinforcing Spatial Reasoning in MLLMs via View-Consistent Reward Optimization [57.484274282231226]
  本稿では,R1スタイルのトレーニングを空間VQAに拡張する最初のフレームワークであるSVQA-R1を提案する。 特に,オブジェクト間の空間的関係を摂動させることで,視点に一貫性のある報酬を構成する新しいグループワイドRL戦略であるSpatial-GRPOを紹介する。 我々のモデルSVQA-R1は空間的VQAベンチマークの精度を劇的に向上させるだけでなく、教師付き微調整データを使用しなくても解釈可能な推論経路を示す。
  論文  参考訳（メタデータ） (2025-06-02T06:58:43Z)
• From Local Details to Global Context: Advancing Vision-Language Models with Attention-Based Selection [38.98491521357191]
  textbfABSは、配布外一般化とゼロショット分類タスクで最先端のパフォーマンスを達成する。 textbfABSはトレーニング不要で、数ショットとテストタイムのアダプティブメソッドにさえ競合する。
  論文  参考訳（メタデータ） (2025-05-19T15:15:37Z)
• EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks [24.41705039390567]
  EmbodiedVSR (Embodied Visual Space Reasoning) は動的シーングラフ誘導型Chain-of-Thought (CoT)推論を統合する新しいフレームワークである。 本手法はタスク固有の微調整なしでゼロショット空間推論を可能にする。 実験により,我々のフレームワークは,既存のMLLM法よりも精度と推論コヒーレンスにおいて優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T05:06:07Z)
• Relation-aware Hierarchical Prompt for Open-vocabulary Scene Graph Generation [14.82606425343802]
  Open-vocabulary Scene Graph Generation (OV-SGG)は、視覚的関係表現とオープンな語彙的テキスト表現を整合させることにより、クローズドセットの仮定の限界を克服する。 既存のOV-SGG法は、固定されたテキスト表現によって制約され、画像テキストアライメントの多様性と精度が制限される。 本稿では,対象物と地域固有の関係情報を統合することでテキスト表現を向上させるRAHP(Relation-Aware Hierarchical Prompting)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-26T02:12:37Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。 我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。 提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• DRTR: Distance-Aware Graph Representation Learning [6.185573921868495]
  距離対応マルチホップメッセージパッシングと動的トポロジ改善を統合した新しいグラフ学習フレームワークである textbfDRTR を提案する。 emphDistance Recomputatorはアダプティブアテンションを使用して意味的に弱いエッジをプーンし、emphTopology Reconstructorは、遠いが関連するノード間の潜時接続を確立する。
  論文  参考訳（メタデータ） (2024-06-25T05:12:51Z)
• Contrastive Region Guidance: Improving Grounding in Vision-Language Models without Training [79.27663870280038]
  Contrastive Region Guidance (CRG) は、オープンソースの視覚言語モデルで視覚的プロンプトに応答できる訓練不要のガイダンス手法である。 領域アノテーションが提供されると、CRGはViP-Benchで最大11.1%精度が向上する。 また,空間推論へのCRGの適用性を示すとともに,What'sUpでは10%の改善が見られた。
  論文  参考訳（メタデータ） (2024-03-04T18:55:30Z)
• Improving Vision-and-Language Reasoning via Spatial Relations Modeling [30.477235227733928]
  ビジュアルコモンセンス推論(VCR)は、難しいマルチモーダルタスクである。 提案手法は,より空間的な文脈を維持するために表現を導くことができる。 VCRと他の2つの視覚・言語推論タスクであるVQAとNLVRについて、最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-09T11:54:55Z)
• Vision-by-Language for Training-Free Compositional Image Retrieval [78.60509831598745]
  合成画像検索(CIR)は、データベース内の関連する対象画像を検索することを目的としている。 大規模視覚言語モデル(VLM)を用いた最近の研究動向 我々は、CIReVL(Vision-by-Language)による学習自由なCIRへの取り組みを提案する。
  論文  参考訳（メタデータ） (2023-10-13T17:59:38Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• Coupling Global Context and Local Contents for Weakly-Supervised Semantic Segmentation [54.419401869108846]
  Weakly Supervised Semantic (WSSS)モデルを提案する。 グローバルなオブジェクトコンテキストを異なる粒度空間でキャプチャするために,フレキシブルなコンテキストアグリゲーションモジュールを提案する。 局所的な細粒度を集約するために、ボトムアップパラメータ学習可能な方法で意味的に一貫した特徴融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-04-18T15:29:23Z)
• LaT: Latent Translation with Cycle-Consistency for Video-Text Retrieval [3.6570455823407957]
  ビデオテキスト検索は、モーダル表現学習問題のクラスである。 本稿では、ソースモダリティ空間 $mathcalS$ からターゲットモダリティ空間 $mathcalT$ への変換関係を、ジョイント潜在空間を必要とせずに学習する新しいメカニズムを提案する。
  論文  参考訳（メタデータ） (2022-07-11T13:37:32Z)
• BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
  CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。 本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
  論文  参考訳（メタデータ） (2022-07-09T07:14:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。