論文の概要: Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency

• arxiv url: http://arxiv.org/abs/2506.01908v1
• Date: Mon, 02 Jun 2025 17:28:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.634576
• Title: Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency
• Title（参考訳）: ビデオLLMのための強化学習チューニング:リワード設計とデータ効率
• Authors: Hongyu Li, Songhao Han, Yue Liao, Junfeng Luo, Jialin Gao, Shuicheng Yan, Si Liu,
• Abstract要約: 本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。 我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。 その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
• 参考スコア（独自算出の注目度）: 56.475612147721264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding real-world videos with complex semantics and long temporal dependencies remains a fundamental challenge in computer vision. Recent progress in multimodal large language models (MLLMs) has demonstrated strong capabilities in vision-language tasks, while reinforcement learning tuning (RLT) has further improved their reasoning abilities. In this work, we explore RLT as a post-training strategy to enhance the video-specific reasoning capabilities of MLLMs. Built upon the Group Relative Policy Optimization (GRPO) framework, we propose a dual-reward formulation that supervises both semantic and temporal reasoning through discrete and continuous reward signals. To facilitate effective preference-based optimization, we introduce a variance-aware data selection strategy based on repeated inference to identify samples that provide informative learning signals. We evaluate our approach across eight representative video understanding tasks, including VideoQA, Temporal Video Grounding, and Grounded VideoQA. Our method consistently outperforms supervised fine-tuning and existing RLT baselines, achieving superior performance with significantly less training data. These results underscore the importance of reward design and data selection in advancing reasoning-centric video understanding with MLLMs. Notably, The initial code release (two months ago) has now been expanded with updates, including optimized reward mechanisms and additional datasets. The latest version is available at https://github.com/appletea233/Temporal-R1 .
• Abstract（参考訳）: 複雑なセマンティクスと長時間の依存関係を持つ現実世界のビデオを理解することは、コンピュータビジョンにおける根本的な課題である。 マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、視覚言語タスクにおいて強力な能力を示し、強化学習チューニング(RLT)は、その推論能力をさらに向上させた。 本研究では,MLLMの動画固有推論能力を高めるための後学習戦略としてRLTを探求する。 グループ相対政策最適化(GRPO)フレームワークを基盤として、離散的かつ連続的な報酬信号を通じて意味的および時間的推論の両方を監督する二重回帰定式化を提案する。 効果的な選好に基づく最適化を容易にするため,繰り返し推論に基づく分散認識型データ選択戦略を導入し,情報的学習信号を提供するサンプルを同定する。 我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。 本手法は、教師付き微調整および既存のRTLベースラインを一貫して上回り、トレーニングデータが少なくて優れた性能を実現している。 これらの結果は,MLLMを用いた推論中心のビデオ理解の進展において,報酬設計とデータ選択の重要性を浮き彫りにした。 特に、最初のコードリリース(2ヶ月前)は、最適化された報酬メカニズムや追加のデータセットを含むアップデートとともに拡張された。 最新バージョンはhttps://github.com/appletea233/Temporal-R1で公開されている。

関連論文リスト

• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• TEMPLE:Temporal Preference Learning of Video LLMs via Difficulty Scheduling and Pre-SFT Alignment [48.94844127553743]
  TEMPLEはビデオ大言語モデルの時間的推論能力を高めるための体系的なフレームワークである。 提案手法は,比較的小さな自己生成DPOデータを用いて,複数のベンチマークでビデオLLM性能を継続的に改善する。 我々のTEMPLEは、SFTベースの手法をスケーラブルかつ効率的に補完するものであり、信頼性の高いビデオLLMを開発するための道を開くものである。
  論文  参考訳（メタデータ） (2025-03-21T08:00:29Z)
• Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs [56.040198387038025]
  トレーニング不要ビデオLLMの効率的な推論のための新しいプロンプト誘導視覚認識フレームワーク(Free Video-LLM)を提案する。 提案手法は,複数のビデオ質問応答ベンチマークにおいて高い性能を維持しながら,視覚トークンの数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-10-14T12:35:12Z)
• TC-LLaVA: Rethinking the Transfer from Image to Video Understanding with Temporal Considerations [23.188508465235717]
  本稿では,映像理解タスクにおけるモデルの能力を高めるための2つの戦略を提案する。 第1のアプローチは、回転位置埋め込み(RoPE)と時間認識デュアルRoPEの強化に焦点を当てる。 第二のアプローチは、フレームワイドのブロック因果マスクによる注意マスクの強化である。
  論文  参考訳（メタデータ） (2024-09-05T02:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。