論文の概要: TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs

• arxiv url: http://arxiv.org/abs/2509.18056v2
• Date: Thu, 25 Sep 2025 14:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 14:16:56.09877
• Title: TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs
• Title（参考訳）: Tempsamp-R1:ビデオLLMのための強化微細調整による効果的なテンポラルサンプリング
• Authors: Yunheng Li, Jing Cheng, Shaoyong Jia, Hangyi Kuang, Shaohui Jiao, Qibin Hou, Ming-Ming Cheng,
• Abstract要約: 本稿では,マルチモーダルな大規模言語モデル(MLLM)をビデオ時間的グラウンド処理に適応させることの有効性向上を目的とした,新しい強化微調整フレームワークであるTempSamp-R1を紹介する。 我々は、TempSamp-R1がGRPOベースのベースラインより優れており、ベンチマークデータセット上で新しい最先端のパフォーマンスを確立していることを示す。
• 参考スコア（独自算出の注目度）: 67.55973229034319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces TempSamp-R1, a new reinforcement fine-tuning framework designed to improve the effectiveness of adapting multimodal large language models (MLLMs) to video temporal grounding tasks. We reveal that existing reinforcement learning methods, such as Group Relative Policy Optimization (GRPO), rely on on-policy sampling for policy updates. However, in tasks with large temporal search spaces, this strategy becomes both inefficient and limited in performance, as it often fails to identify temporally accurate solutions. To address this limitation, TempSamp-R1 leverages ground-truth annotations as off-policy supervision to provide temporally precise guidance, effectively compensating for the sparsity and misalignment in on-policy solutions. To further stabilize training and reduce variance in reward-based updates, TempSamp-R1 provides a non-linear soft advantage computation method that dynamically reshapes the reward feedback via an asymmetric transformation. By employing a hybrid Chain-of-Thought (CoT) training paradigm, TempSamp-R1 optimizes a single unified model to support both CoT and non-CoT inference modes, enabling efficient handling of queries with varying reasoning complexity. Experimental results demonstrate that TempSamp-R1 outperforms GRPO-based baselines, establishing new state-of-the-art performance on benchmark datasets: Charades-STA (R1@0.7: 52.9%, +2.7%), ActivityNet Captions (R1@0.5: 56.0%, +5.3%), and QVHighlights (mAP: 30.0%, +3.0%). Moreover, TempSamp-R1 shows robust few-shot generalization capabilities under limited data. Code: https://github.com/HVision-NKU/TempSamp-R1
• Abstract（参考訳）: 本稿では,マルチモーダルな大規模言語モデル(MLLM)をビデオ時間的グラウンド処理に適応させることの有効性向上を目的とした,新しい強化微調整フレームワークであるTempSamp-R1を紹介する。 我々は,グループ相対政策最適化(GRPO)のような既存の強化学習手法が,政策更新のオンラインサンプリングに依存していることを明らかにする。 しかし、時間的探索空間が大きいタスクでは、この戦略は時間的正確解の特定に失敗するため、効率が悪く、性能が制限される。 この制限に対処するため、TempSamp-R1は、オフ・ポリシーのアノテーションをオフ・ポリシーの監視として活用し、時間的に正確なガイダンスを提供し、オン・ポリティック・ソリューションにおけるスパーシリティと不正調整を効果的に補償する。 トレーニングをさらに安定化させ、報酬ベースの更新のばらつきを低減するため、TempSamp-R1は非対称変換を介して報酬フィードバックを動的に再評価する非線形ソフト・アドバンテージ計算法を提供する。 ハイブリッドChain-of-Thought(CoT)トレーニングパラダイムを採用することで、TempSamp-R1は単一統一モデルを最適化し、CoTと非CoT推論モードの両方をサポートする。 実験の結果、TempSamp-R1はGRPOベースのベースラインを上回り、ベンチマークデータセット上で新たな最先端のパフォーマンスを確立した。Charades-STA(R1@0.7:52.9%、+2.7%)、ActivityNet Captions(R1@0.5:56.0%、+5.3%)、QVHighlights(mAP:30.0%、+3.0%)である。 さらに、TempSamp-R1は、限られたデータの下で、堅牢な数ショットの一般化機能を示している。 コード:https://github.com/HVision-NKU/TempSamp-R1

関連論文リスト

• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Sample and Computationally Efficient Continuous-Time Reinforcement Learning with General Function Approximation [28.63391989014238]
  連続時間強化学習(CTRL)は、相互作用が時間とともに継続的に進化する環境において、シーケンシャルな意思決定のための原則的なフレームワークを提供する。 サンプルと計算効率の両方を実現するモデルベースアルゴリズムを提案する。 我々は,$N$の測定値を用いて,$tildeO(sqrtd_mathcalR + d_mathcalFN-1/2)$の準最適解を求めることができることを示す。
  論文  参考訳（メタデータ） (2025-05-20T18:37:51Z)
• LoRA-TTT: Low-Rank Test-Time Training for Vision-Language Models [23.218237408724676]
  視覚言語モデル(VLM)のための新しいテスト時間訓練(TTT)法であるLoRA-TTTを提案する。 テスト期間中にLoRAを導入し,パラメータのみを更新することにより,本手法は単純かつ効果的なTTTアプローチを提供する。 本手法は,メモリ消費や実行量を増やすことなく,これらの2つの損失を組み合わせ,多様な領域に適応することができる。
  論文  参考訳（メタデータ） (2025-02-04T07:40:26Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。