論文の概要: Reason-RFT: Reinforcement Fine-Tuning for Visual Reasoning of Vision Language Models

• arxiv url: http://arxiv.org/abs/2503.20752v3
• Date: Sun, 05 Oct 2025 00:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:09.568192
• Title: Reason-RFT: Reinforcement Fine-Tuning for Visual Reasoning of Vision Language Models
• Title（参考訳）: Reason-RFT:視覚言語モデルの視覚的推論のための強化ファインチューニング
• Authors: Huajie Tan, Yuheng Ji, Xiaoshuai Hao, Xiansheng Chen, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang,
• Abstract要約: Reason-RFTは視覚的推論のための2段階強化微調整フレームワークである。 第一に、CoTデータをキュレートしたスーパービジョンファインチューニング(SFT)は、ビジョンランゲージモデル(VLM)の推論ポテンシャルを活性化する 第2に、グループ相対政策最適化(GRPO)に基づく強化学習は、複数の推論応答対を生成し、ドメインシフトへの適応性を高める。
• 参考スコア（独自算出の注目度）: 42.75418134743927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual reasoning abilities play a crucial role in understanding complex multimodal data, advancing both domain-specific applications and artificial general intelligence (AGI). Existing methods enhance Vision-Language Models (VLMs) through Chain-of-Thought (CoT) supervised fine-tuning using meticulously annotated data. However, this approach may lead to overfitting and cognitive rigidity, limiting the model's generalization ability under domain shifts and reducing real-world applicability. To overcome these limitations, we propose Reason-RFT, a two-stage reinforcement fine-tuning framework for visual reasoning. First, Supervised Fine-Tuning (SFT) with curated CoT data activates the reasoning potential of VLMs. This is followed by reinforcement learning based on Group Relative Policy Optimization (GRPO), which generates multiple reasoning-response pairs to enhance adaptability to domain shifts. To evaluate Reason-RFT, we reconstructed a comprehensive dataset covering visual counting, structural perception, and spatial transformation, serving as a benchmark for systematic assessment across three key dimensions. Experimental results highlight three advantages: (1) performance enhancement, with Reason-RFT achieving state-of-the-art results and outperforming both open-source and proprietary models; (2) generalization superiority, maintaining robust performance under domain shifts across various tasks; and (3) data efficiency, excelling in few-shot learning scenarios and surpassing full-dataset SFT baselines. Reason-RFT introduces a novel training paradigm for visual reasoning and marks a significant step forward in multimodal research. Project website: https://tanhuajie.github.io/ReasonRFT
• Abstract（参考訳）: 視覚推論能力は、複雑なマルチモーダルデータを理解する上で重要な役割を担い、ドメイン固有のアプリケーションと人工知能(AGI)の両方を前進させる。 既存の手法は、綿密な注釈付きデータを用いた微調整を監督するChain-of-Thought (CoT)を通して視覚言語モデル(VLM)を強化する。 しかし、このアプローチは過度に適合し、認知的剛性をもたらし、ドメインシフト下でのモデルの一般化能力を制限し、現実の応用性を低下させる。 これらの制約を克服するため、視覚的推論のための2段階強化微調整フレームワークReason-RFTを提案する。 第一に、CoTデータをキュレートしたSupervised Fine-Tuning (SFT) は、VLMの推論ポテンシャルを活性化する。 次に、グループ相対政策最適化(GRPO)に基づく強化学習を行い、複数の推論-応答ペアを生成し、ドメインシフトへの適応性を高める。 Reason-RFTを評価するために、視覚的計数、構造的知覚、空間的変換を含む包括的データセットを再構築し、3つの重要な次元にわたる体系的評価のベンチマークとして利用した。 実験結果からは,(1)最先端の成果を達成し,オープンソースモデルとプロプライエタリモデルの両方を上回るパフォーマンス向上,(2)汎用性,さまざまなタスクにわたるドメインシフト下での堅牢なパフォーマンス維持,(3)データの効率向上,数ショットの学習シナリオに優れ,フルデータセットのSFTベースラインを越えたパフォーマンス向上,の3つのメリットが示された。 Reason-RFTは視覚的推論のための新しい訓練パラダイムを導入し、マルチモーダル研究において重要な一歩を踏み出した。 プロジェクトウェブサイト: https://tanhuajie.github.io/ReasonRFT

関連論文リスト

• Direct Reasoning Optimization: LLMs Can Reward And Refine Their Own Reasoning for Open-Ended Tasks [6.881699020319577]
  大規模言語モデル(LLM)を微調整するための強化学習フレームワークであるダイレクト推論最適化(DRO)を提案する。 DROは新たな報酬信号、Reasoning Reflection Reward (R3)によって誘導される。 DROは、オープンエンドドメインと構造化ドメインの両方にわたって広く適用されながら、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-06-16T10:43:38Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• Perceptual Decoupling for Scalable Multi-modal Reasoning via Reward-Optimized Captioning [78.17782197231325]
  本稿では,抽出者のキャプション動作と推論目的を一致させる推論誘導型強化学習戦略を提案する。 マルチモーダルな数学と科学ベンチマークの実験により、提案手法は最先端の平均性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• Unveiling the Compositional Ability Gap in Vision-Language Reasoning Model [39.58344147240552]
  我々は,大局的な視覚言語モデル (VLM) が,配布外条件下でのモダリティやタスクにまたがる機能を構成することができるかどうかを検討する。 我々の研究は、RLベースの推論VLMトレーニングの現在の限界に光を当て、モーダルやタスクにまたがる構成的推論モデル構築に向けた実用的な洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-26T01:42:38Z)
• VLM-R1: A Stable and Generalizable R1-style Large Vision-Language Model [29.524164786422368]
  最近、DeepSeek R1は、強化学習が大規模言語モデル(LLM)の推論能力を大幅に改善できることを示した。 視覚言語モデル(VLM)へのR1型強化学習の拡張について検討する。 VLM-R1 は,汎用視覚言語タスクにおける VLM の性能向上のために RL を利用した専用フレームワークである。
  論文  参考訳（メタデータ） (2025-04-10T10:05:15Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
  本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• R1-Onevision: Advancing Generalized Multimodal Reasoning through Cross-Modal Formalization [26.757458496178437]
  視覚知覚と深い推論のギャップを埋めるために設計されたマルチモーダル推論モデルであるR1-Onevisionを紹介する。 我々はR1-Onevisionデータセットを構築し、多様なドメインにまたがる詳細かつステップバイステップのマルチモーダル推論アノテーションを提供する。 先進的推論を育成するために,教師付き微調整と強化学習によりR1-Onevisionモデルをさらに発展させる。 実験結果から,R1-OnevisionはGPT-4oやQwen2.5-VLなど,最先端のモデルよりも優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-03-13T17:56:05Z)
• Visual-RFT: Visual Reinforcement Fine-Tuning [75.20572976629646]
  OpenAI o1のような大規模推論モデルにおける強化ファインチューニング(RFT)は、回答に対するフィードバックから学ぶ。 Visual-RFTはさらに、視覚タスクにおけるRTTの適用領域を拡張している。
  論文  参考訳（メタデータ） (2025-03-03T18:16:32Z)
• Cognitive Paradigms for Evaluating VLMs on Visual Reasoning Task [3.2228025627337864]
  機械の視覚的推論を改善するには、ビジョン・ランゲージ・モデル(VLM)がどのように複雑な視覚的パターンを処理し、解釈するかを深く理解する必要がある。 本研究は,自然画像に基づくボナード問題に基づくVLM推論を体系的に解析する,認知に着想を得た新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• DRIVINGVQA: Analyzing Visual Chain-of-Thought Reasoning of Vision Language Models in Real-World Scenarios with Driving Theory Tests [69.00444996464662]
  本稿では、複雑な実世界のシナリオにおける視覚的連鎖推論を評価するために、駆動理論テストから得られた新しいベンチマークであるDrivingVQAを提案する。 実験の結果,オープンソースおよびプロプライエタリなLVLMは,ゼロショット設定下での視覚的連鎖推論に苦慮していることがわかった。 視覚的推論を改善するために関連エンティティを活用するトレーニング戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。