論文の概要: VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

• arxiv url: http://arxiv.org/abs/2504.06958v2
• Date: Thu, 10 Apr 2025 16:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:25:01.177303
• Title: VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning
• Title（参考訳）: VideoChat-R1:強化ファインチューニングによる時空間知覚の強化
• Authors: Xinhao Li, Ziang Yan, Desen Meng, Lu Dong, Xiangyu Zeng, Yinan He, Yali Wang, Yu Qiao, Yi Wang, Limin Wang,
• Abstract要約: 本稿では,RFT(Reinforcement Fine-temporalning)による映像知覚の向上を目的とする。 我々は,チャット機能を犠牲にすることなく,最先端のリアルタイムタスクを実現する強力なビデオMLLMであるVideoChat-R1を開発した。 ビデオMLLMのタスク強化におけるRTTの可能性について検討した。
• 参考スコア（独自算出の注目度）: 42.316341452766075
• License:
• Abstract: Recent advancements in reinforcement learning have significantly advanced the reasoning capabilities of multimodal large language models (MLLMs). While approaches such as Group Relative Policy Optimization (GRPO) and rule-based reward mechanisms demonstrate promise in text and image domains, their application to video understanding remains limited. This paper presents a systematic exploration of Reinforcement Fine-Tuning (RFT) with GRPO for video MLLMs, aiming to enhance spatio-temporal perception while maintaining general capabilities. Our experiments reveal that RFT is highly data-efficient for task-specific improvements. Through multi-task RFT on spatio-temporal perception objectives with limited samples, we develop VideoChat-R1, a powerful video MLLM that achieves state-of-the-art performance on spatio-temporal perception tasks without sacrificing chat ability, while exhibiting emerging spatio-temporal reasoning abilities. Compared to Qwen2.5-VL-7B, VideoChat-R1 boosts performance several-fold in tasks like temporal grounding (+31.8) and object tracking (+31.2). Additionally, it significantly improves on general QA benchmarks such as VideoMME (+0.9), MVBench (+1.0), and Perception Test (+0.9). Our findings underscore the potential of RFT for specialized task enhancement of Video MLLMs. We hope our work offers valuable insights for future RL research in video MLLMs.
• Abstract（参考訳）: 近年の強化学習の進歩は多モーダル大言語モデル(MLLM)の推論能力を大幅に向上させてきた。 Group Relative Policy Optimization (GRPO) やルールベースの報酬メカニズムのようなアプローチは、テキストや画像領域における約束を示すが、ビデオ理解への応用は限定的である。 本稿では,ビデオMLLMのためのGRPOを用いてRFT(Reinforcement Fine-Tuning)を体系的に探索し,汎用性を維持しつつ時空間知覚を高めることを目的とした。 実験の結果,RFTはタスク固有の改善のために非常にデータ効率が高いことがわかった。 限られたサンプルを用いた時空間認識目的のマルチタスクRFTにより,チャット能力を犠牲にすることなく,時空間認識タスクの最先端性能を実現する強力なビデオMLLMであるVideoChat-R1を開発した。 Qwen2.5-VL-7Bと比較して、VideoChat-R1は時間的グラウンド(+31.8)やオブジェクト追跡(+31.2)といったタスクでパフォーマンスを数倍向上させる。 さらに、VideoMME (+0.9)、MVBench (+1.0)、Perception Test (+0.9)といった一般的なQAベンチマークでも大幅に改善されている。 ビデオMLLMのタスク強化におけるRTTの可能性について検討した。 我々は、ビデオMLLMにおける将来のRL研究に貴重な洞察を得られることを願っている。

関連論文リスト

• MomentSeeker: A Comprehensive Benchmark and A Strong Baseline For Moment Retrieval Within Long Videos [62.01402470874109]
  我々は、一般的な長時間ビデオモーメント検索タスクの処理において、検索モデルの性能を評価するベンチマークであるMomentSeekerを提案する。 平均で500秒を超える長いビデオが組み込まれており、長時間ビデオのモーメント検索に特化した最初のベンチマークとなっている。 幅広いタスクカテゴリ(Moment Search, Caption Alignment, Image-conditioned Moment Search, Video-conditioned Moment Searchなど)と多様なアプリケーションシナリオをカバーする。 さらに、MLLMベースのLVMRレトリバーを合成データ上に微調整し、ベンチマークで高い性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T05:50:23Z)
• InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
  本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。 InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。 実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-01-21T18:59:00Z)
• OLA-VLM: Elevating Visual Perception in Multimodal LLMs with Auxiliary Embedding Distillation [95.78870389271832]
  現代のMLLMを開発するための標準的な慣行は、視覚エンコーダ(s)からLLMに特徴を供給し、自然言語を監督する訓練を行うことである。 目的とする視覚表現の集合からLLMの隠れ表現に知識を抽出する最初の手法であるOLA-VLMを提案する。 OLA-VLMは様々なベンチマークで平均マージンを2.5%向上させ,CV-BenchのDepthタスクでは8.7%向上した。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• LLaVA-MR: Large Language-and-Vision Assistant for Video Moment Retrieval [14.136397687227111]
  モーメント検索のためのLarge Language-and-Vision Assistant(LLaVA-MR)を提案する。 LLaVA-MRはマルチモーダル大言語モデル(MLLM)を用いたビデオにおける正確なモーメント検索と文脈グラウンド化を可能にする Charades-STAやQVHighlightsのようなベンチマークによる評価は、LLaVA-MRが11の最先端メソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-21T09:34:23Z)
• TC-LLaVA: Rethinking the Transfer from Image to Video Understanding with Temporal Considerations [23.188508465235717]
  本稿では,映像理解タスクにおけるモデルの能力を高めるための2つの戦略を提案する。 第1のアプローチは、回転位置埋め込み(RoPE)と時間認識デュアルRoPEの強化に焦点を当てる。 第二のアプローチは、フレームワイドのブロック因果マスクによる注意マスクの強化である。
  論文  参考訳（メタデータ） (2024-09-05T02:54:17Z)
• VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
  本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。 ビデオタスクのコンテキストにおいてLLMの実用性を拡張し,最小限のインプットとアウトプットのデモをコンテキストフレームワーク内で一般化する,新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:00Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)
• Motion Sensitive Contrastive Learning for Self-supervised Video Representation [34.854431881562576]
  動作感性コントラスト学習(MSCL)は、光学フローによって捉えられた動き情報をRGBフレームに注入し、特徴学習を強化する。 フレームレベルのコントラスト目標を持つ局所運動コントラスト学習(LMCL)。 Flow Rotation Augmentation (FRA) は追加のモーションシャッフル負のサンプルを生成し、Motion Differential Smpling (MDS) はトレーニングサンプルを正確にスクリーニングする。
  論文  参考訳（メタデータ） (2022-08-12T04:06:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。