論文の概要: Deep But Reliable: Advancing Multi-turn Reasoning for Thinking with Images

• arxiv url: http://arxiv.org/abs/2512.17306v1
• Date: Fri, 19 Dec 2025 07:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.288057
• Title: Deep But Reliable: Advancing Multi-turn Reasoning for Thinking with Images
• Title（参考訳）: Deep But Reliable: イメージによる思考のためのマルチターン推論の改善
• Authors: Wenhao Yang, Yu Xia, Jinlong Huang, Shiyin Lu, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, Yuanyu Wan, Lijun Zhang,
• Abstract要約: DRIMは,マルチモーダルCoTの画像について考える際に,深層かつ信頼性の高いマルチターン推論を可能にするモデルである。 高精細画像データセットに基づいて,高精細かつ検証可能な視覚的問合せ対を構築する。 SFTの段階では,ツールトラジェクトリをコールドスタートデータとして収集し,マルチターン推論パターンを導出する。 RLの段階では、冗長性を考慮したポリシー最適化を導入し、自己反射的推論パターンを開発するためのモデルにインセンティブを与える。
• 参考スコア（独自算出の注目度）: 53.373427633330515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large Vision-Language Models (VLMs) have exhibited strong reasoning capabilities on complex visual tasks by thinking with images in their Chain-of-Thought (CoT), which is achieved by actively invoking tools to analyze visual inputs rather than merely perceiving them. However, existing models often struggle to reflect on and correct themselves when attempting incorrect reasoning trajectories. To address this limitation, we propose DRIM, a model that enables deep but reliable multi-turn reasoning when thinking with images in its multimodal CoT. Our pipeline comprises three stages: data construction, cold-start SFT and RL. Based on a high-resolution image dataset, we construct high-difficulty and verifiable visual question-answer pairs, where solving each task requires multi-turn tool calls to reach the correct answer. In the SFT stage, we collect tool trajectories as cold-start data, guiding a multi-turn reasoning pattern. In the RL stage, we introduce redundancy-penalized policy optimization, which incentivizes the model to develop a self-reflective reasoning pattern. The basic idea is to impose judgment on reasoning trajectories and penalize those that produce incorrect answers without sufficient multi-scale exploration. Extensive experiments demonstrate that DRIM achieves superior performance on visual understanding benchmarks.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)の最近の進歩は、単に知覚するのではなく、視覚入力を解析するためのツールを積極的に呼び出すことによって達成された、CoT(Chain-of-Thought)の画像で考えることで、複雑な視覚タスクに対して強力な推論能力を示した。 しかし、既存のモデルは、誤った推論軌跡を試す際に、自分自身を反映し、修正するのに苦労することが多い。 この制限に対処するため,マルチモーダル CoT で画像を考える際に,深層かつ信頼性の高いマルチターン推論を可能にするモデル DRIM を提案する。 パイプラインはデータ構築,コールドスタートSFT,RLの3段階で構成されている。 高精細な画像データセットに基づいて、高精細で検証可能な視覚的質問応答ペアを構築し、各タスクの解決には正しい回答に到達するためにマルチターンツールコールが必要である。 SFTの段階では,ツールトラジェクトリをコールドスタートデータとして収集し,マルチターン推論パターンを導出する。 RLの段階では、冗長性を考慮したポリシー最適化を導入し、自己反射的推論パターンを開発するためのモデルにインセンティブを与える。 基本的な考え方は、推論の軌跡に判断を課し、十分なマルチスケールの探索をすることなく、誤った回答を導出する者を罰することである。 広範にわたる実験により、DRIMは視覚的理解ベンチマークにおいて優れた性能を発揮することが示された。

関連論文リスト

• Monet: Reasoning in Latent Visual Space Beyond Images and Language [55.424507246294326]
  視覚的推論を推し進める上で有効なパラダイムとして「画像で考える」が登場している。 既存の方法は、人間のような抽象的な視覚的思考に欠ける。 Monetは、マルチモーダルな大規模言語モデルを潜在視覚空間内で直接推論できるトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-26T13:46:39Z)
• DeFacto: Counterfactual Thinking with Images for Enforcing Evidence-Grounded and Faithful Reasoning [11.952788515297913]
  DeFactoは、正確な回答と忠実な推論を共同で実施する、反ファクト的推論フレームワークである。 本研究では,疑問関連証拠を自動的に局所化し,肯定的,反実的,ランダムな変種を構成するパイプラインを開発する。 多様なベンチマークの実験では、DeFactoは回答の正確さと忠実性の推論の両方を大幅に改善している。
  論文  参考訳（メタデータ） (2025-09-25T08:58:10Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning [37.194825644787294]
  我々は視覚言語モデル(VLM)を訓練し、強化学習と視覚質問応答ペアを通して画像データに基づく推論を行う。 我々のモデルであるVisionary-R1は、複数の視覚的推論ベンチマークにおいて、強力なマルチモーダルモデルよりも優れています。
  論文  参考訳（メタデータ） (2025-05-20T17:58:35Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
  RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。 実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。