論文の概要: VideoRFT: Incentivizing Video Reasoning Capability in MLLMs via Reinforced Fine-Tuning

• arxiv url: http://arxiv.org/abs/2505.12434v2
• Date: Wed, 25 Jun 2025 07:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 14:36:56.183836
• Title: VideoRFT: Incentivizing Video Reasoning Capability in MLLMs via Reinforced Fine-Tuning
• Title（参考訳）: VideoRFT:強化ファインチューニングによるMLLMにおけるビデオ推論能力のインセンティブ化
• Authors: Qi Wang, Yanrui Yu, Ye Yuan, Rui Mao, Tianfei Zhou,
• Abstract要約: VIDEORFTは、MLLMで人間のようなビデオ推論能力を育むための新しいアプローチである。 RFTの標準的な2段階のスキームに従う: チェーン・オブ・シント(CoT)アノテーションによる微調整(SFT)と、一般化を改善するための強化学習(RL)である。 6つのビデオ推論ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 33.170426237654596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement fine-tuning (RFT) has shown great promise in achieving humanlevel reasoning capabilities of Large Language Models (LLMs), and has recently been extended to MLLMs. Nevertheless, reasoning about videos, which is a fundamental aspect of human intelligence, remains a persistent challenge due to the complex logic, temporal and causal structures inherent in video data. To fill this gap, we propose VIDEORFT, a novel approach that extends the RFT paradigm to cultivate human-like video reasoning capabilities in MLLMs. VIDEORFT follows the standard two-stage scheme in RFT: supervised fine-tuning (SFT) with chain-of-thought (CoT) annotations, followed by reinforcement learning (RL) to improve generalization. A central challenge to achieve this in the video domain lies in the scarcity of large-scale, high-quality video CoT datasets. We address this by building a fully automatic CoT curation pipeline. First, we devise a cognitioninspired prompting strategy to elicit a reasoning LLM to generate preliminary CoTs based solely on rich, structured, and literal representations of video content. Subsequently, these CoTs are revised by a visual-language model conditioned on the actual video, ensuring visual consistency and reducing visual hallucinations. This pipeline results in two new datasets - VideoRFT-CoT-102K for SFT and VideoRFT-RL-310K for RL. To further strengthen the RL phase, we introduce a novel semantic-consistency reward that explicitly promotes the alignment between textual reasoning and visual evidence. This reward encourages the model to produce coherent, context-aware reasoning outputs grounded in visual input. Extensive experiments show that VIDEORFT achieves state-of-the-art performance on six video reasoning benchmarks.
• Abstract（参考訳）: Reinforcement fine-tuning (RFT) は、Large Language Models (LLMs) の人間レベルの推論能力を実現する上で大きな可能性を示しており、最近MLLMにも拡張されている。 それでも、人間の知性の基本的側面であるビデオの推論は、ビデオデータに固有の複雑な論理的、時間的、因果的構造のために、永続的な課題である。 このギャップを埋めるために,MLLMにおけるヒューマンライクなビデオ推論能力を育成するために,RFTパラダイムを拡張した新しいアプローチであるVIDEORFTを提案する。 VIDEORFTは、RFTの標準的な2段階のスキームに従っている: チェーン・オブ・シント(CoT)アノテーションによる微調整(SFT)と、一般化を改善するための強化学習(RL)である。 ビデオ領域でこれを実現するための中心的な課題は、大規模で高品質なビデオCoTデータセットの不足にある。 我々は、完全に自動化されたCoTキュレーションパイプラインを構築することで、この問題に対処する。 まず、映像コンテンツのリッチで構造化されたリテラル表現のみに基づく予備的なCoTを生成するために、LCMを推論する認知にインスパイアされたプロンプト戦略を考案する。 その後、これらのCoTは実際のビデオに条件付き視覚言語モデルによって修正され、視覚的一貫性が確保され、視覚幻覚が減少する。 このパイプラインは、SFTのVideoRFT-CoT-102KとRLのVideoRFT-RL-310Kという2つの新しいデータセットをもたらす。 RL フェーズをさらに強化するために,テキスト推論と視覚的証拠との整合性を明確に促進する,新しい意味一貫性報酬を導入する。 この報酬は、モデルに視覚入力を基礎としたコヒーレントでコンテキスト対応の推論出力を生成するよう促す。 大規模な実験により、VIDEORFTは6つのビデオ推論ベンチマークで最先端のパフォーマンスを達成した。

関連論文リスト

• Compile Scene Graphs with Reinforcement Learning [69.36723767339001]
  次世代予測は大規模言語モデル(LLM)の訓練の基本原理である 本稿では,マルチモーダルLLM(M-LLM)であるR1-SGGを紹介する。 私たちは、Hard Recall、Hard Recall+Relax、Soft Recallの3つのリコールベースのバリエーションを含む、グラフ中心の報酬セットを設計します。
  論文  参考訳（メタデータ） (2025-04-18T10:46:22Z)
• SFT or RL? An Early Investigation into Training R1-Like Reasoning Large Vision-Language Models [39.551767637896404]
  本研究は、LVLM(Large Vision-Language Models)のトレーニングにおいて、支配的な教師付き微調整(SFT)、強化学習(RL)パラダイムを再考する。 SFTは、専門家モデルから模倣された擬似推論経路を誘導することにより、その後のRLを著しく損なう可能性があることを示す。 我々は,LVLMにおける推論を支援するために設計された,新しいマルチモーダルデータセットであるVLAA-Thinkingを紹介する。
  論文  参考訳（メタデータ） (2025-04-10T16:54:05Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• Bridging Vision and Language: Modeling Causality and Temporality in Video Narratives [0.0]
  本稿では,Causal-Temporal Reasoning Moduleを最先端のLVLMに統合する拡張フレームワークを提案する。 CTRMはCausal Dynamics(CDE)とTemporal Learner(TRL)の2つの重要なコンポーネントから構成される。 大規模ビデオテキストデータセットの事前学習を併用して,モデル最適化のための多段階学習戦略を設計する。
  論文  参考訳（メタデータ） (2024-12-14T07:28:38Z)
• VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
  大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。 ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。 QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-02T14:45:53Z)
• STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training [87.58996020705258]
  Video Large Language Models (Video-LLMs) は近年,ビデオ理解タスクに強い派生性を示している。 ビデオLLMは、多段階の明示的時間的推論を必要とする構成的推論と、オブジェクトの関係、相互作用、イベントに苦労する。 本稿では,ビデオLLMが生ビデオから推論に富んだ微調整データを生成し,自己改善を実現するための,グラフ誘導型自己学習手法STEPを提案する。
  論文  参考訳（メタデータ） (2024-11-29T11:54:55Z)
• VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
  空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。 GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。 フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T08:33:36Z)
• Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies [69.28082193942991]
  本稿では、これまで見過ごされていた2つの重要なビデオ推論スキルを探索するためのテストベッドとして設計された、新しいデータセットであるTropes in Movies (TiM)を紹介する。 映画ストーリーテリングのトポロジを利用して、TiMは最先端のLCMベースのアプローチの推論能力を評価する。 これらの欠陥に対処するために、FEVoRI(Face-Enhanced Viper of Role Interactions)とConQueR(Context Query Reduction)を提案する。
  論文  参考訳（メタデータ） (2024-06-16T12:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。