論文の概要: Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2507.07685v1
• Date: Thu, 10 Jul 2025 12:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.387725
• Title: Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought
• Title（参考訳）: Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought
• Authors: Shin'ya Yamaguchi, Kosuke Nishida, Daiki Chijiwa,
• Abstract要約: チェーン・オブ・シンクレット(CoT)プロンプトは、多モーダル推論を強化するために、大きな視覚言語モデル(LLM)に適応している。 既存のLVLMは、CoT推論において生成された有理性の内容を無視していることが多い。 本稿では,新しいプラグイン・アンド・プレイ型推論時間復号法である理性強化復号法(RED)を提案する。
• 参考スコア（独自算出の注目度）: 11.538345159297839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models (LVLMs) have demonstrated remarkable capabilities by integrating pre-trained vision encoders with large language models (LLMs). Similar to single-modal LLMs, chain-of-thought (CoT) prompting has been adapted for LVLMs to enhance multi-modal reasoning by generating intermediate rationales based on visual and textual inputs. While CoT is assumed to improve grounding and accuracy in LVLMs, our experiments reveal a key challenge: existing LVLMs often ignore the contents of generated rationales in CoT reasoning. To address this, we re-formulate multi-modal CoT reasoning as a KL-constrained reward maximization focused on rationale-conditional log-likelihood. As the optimal solution, we propose rationale-enhanced decoding (RED), a novel plug-and-play inference-time decoding strategy. RED harmonizes visual and rationale information by multiplying distinct image-conditional and rationale-conditional next token distributions. Extensive experiments show that RED consistently and significantly improves reasoning over standard CoT and other decoding methods across multiple benchmarks and LVLMs. Our work offers a practical and effective approach to improve both the faithfulness and accuracy of CoT reasoning in LVLMs, paving the way for more reliable rationale-grounded multi-modal systems.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、事前学習された視覚エンコーダと大規模言語モデル(LLM)を統合することで、顕著な能力を示した。 シングルモーダルLLMと同様に、チェーン・オブ・シークレット(CoT)プロンプトは、視覚とテキストの入力に基づいて中間論理を生成することでマルチモーダル推論を強化するためにLVLMに適用されている。 既存のLVLMは、CoT推論において生成された有理性の内容を無視していることが多い。 そこで我々は,KL制約付き報酬最大化としてマルチモーダルCoT推論を再定式化した。 最適解として、新しいプラグアンドプレイ推論時復号法である有理拡張復号法(RED)を提案する。 REDは、異なる画像条件と有理条件の次のトークン分布を掛け合わせることで、視覚的および有理的な情報を調和させる。 大規模な実験により、REDは複数のベンチマークやLVLMで標準のCoTや他の復号法よりも一貫して、かつ大幅に推論を改善していることが示された。 我々の研究は、LVLMにおけるCoT推論の忠実度と正確性の両方を改善するための実用的で効果的なアプローチを提供し、より信頼性の高い合理的なマルチモーダルシステムへの道を開いた。

関連論文リスト

• Multimodal Mathematical Reasoning with Diverse Solving Perspective [65.07953438724105]
  画像探索ペア毎に複数の多様な解トラジェクトリをキャプチャする新しいデータセットであるMathV-DPを紹介する。 本稿では,Qwen-VLに基づくモデルQwen-VL-DPを提案する。 本手法は,様々な推論の観点からの学習を重視し,正しい解と異なる解を区別する。
  論文  参考訳（メタデータ） (2025-07-03T17:07:20Z)
• Advancing Multimodal Reasoning Capabilities of Multimodal Large Language Models via Visual Perception Reward [87.06604760273372]
  本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。 本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-08T16:48:42Z)
• Perceptual Decoupling for Scalable Multi-modal Reasoning via Reward-Optimized Captioning [78.17782197231325]
  本稿では,抽出者のキャプション動作と推論目的を一致させる推論誘導型強化学習戦略を提案する。 マルチモーダルな数学と科学ベンチマークの実験により、提案手法は最先端の平均性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Chain-of-Thought Prompt Distillation for Multimodal Named Entity Recognition and Multimodal Relation Extraction [8.169359626365619]
  思考のテキストチェーン(CoT) -- 中間推論ステップのシーケンスを生成します。 本稿では,大規模言語モデルからのコモンセンス推論能力を同化するための新しい条件付きプロンプト蒸留法を提案する。 我々のアプローチは最先端の精度を達成し、解釈可能性、データ効率、ドメイン間の一般化に関する多くの利点を示す。
  論文  参考訳（メタデータ） (2023-06-25T04:33:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。