論文の概要: ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.15447v1
• Date: Wed, 21 May 2025 12:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.635145
• Title: ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning
• Title（参考訳）: ViaRL:視覚的反復増幅強化学習による適応的時間的接地
• Authors: Ziqiang Xu, Qi Dai, Tian Xie, Yifan Yang, Kai Qiu, DongDong Chen, Zuxuan Wu, Chong Luo,
• Abstract要約: ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
• 参考スコア（独自算出の注目度）: 68.76048244253582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video understanding is inherently intention-driven-humans naturally focus on relevant frames based on their goals. Recent advancements in multimodal large language models (MLLMs) have enabled flexible query-driven reasoning; however, video-based frameworks like Video Chain-of-Thought lack direct training signals to effectively identify relevant frames. Current approaches often rely on heuristic methods or pseudo-label supervised annotations, which are both costly and limited in scalability across diverse scenarios. To overcome these challenges, we introduce ViaRL, the first framework to leverage rule-based reinforcement learning (RL) for optimizing frame selection in intention-driven video understanding. An iterated amplification strategy is adopted to perform alternating cyclic training in the video CoT system, where each component undergoes iterative cycles of refinement to improve its capabilities. ViaRL utilizes the answer accuracy of a downstream model as a reward signal to train a frame selector through trial-and-error, eliminating the need for expensive annotations while closely aligning with human-like learning processes. Comprehensive experiments across multiple benchmarks, including VideoMME, LVBench, and MLVU, demonstrate that ViaRL consistently delivers superior temporal grounding performance and robust generalization across diverse video understanding tasks, highlighting its effectiveness and scalability. Notably, ViaRL achieves a nearly 15\% improvement on Needle QA, a subset of MLVU, which is required to search a specific needle within a long video and regarded as one of the most suitable benchmarks for evaluating temporal grounding.
• Abstract（参考訳）: ビデオ理解は本質的に意図駆動型人間である。 MLLM(Multimodal large language model)の最近の進歩により、柔軟なクエリ駆動推論が可能になったが、Video Chain-of-Thoughtのようなビデオベースのフレームワークでは、関連するフレームを効果的に識別するための直接的なトレーニング信号が欠如している。 現在のアプローチは、しばしばヒューリスティックなメソッドや擬似ラベルによるアノテーションに依存します。 これらの課題を克服するために,ルールベース強化学習(RL)を活用し,意図的映像理解におけるフレーム選択を最適化する最初のフレームワークであるViaRLを紹介した。 ビデオCoTシステムにおいて、各コンポーネントが改良の反復サイクルを実行し、その能力を向上させるための繰り返し循環訓練を行うために、反復増幅戦略を採用する。 ViaRLは、ダウンストリームモデルの応答精度を報奨信号として利用して、試行錯誤を通じてフレームセレクタを訓練し、人間のような学習プロセスと密接に整合しながら、高価なアノテーションを不要にする。 VideoMME、LVBench、MLVUなど、複数のベンチマークにわたる総合的な実験は、ViaRLが常に優れた時間的基盤性能と多様なビデオ理解タスク間の堅牢な一般化を提供し、その効率性とスケーラビリティを強調していることを実証している。 特に、ViaRLは、長いビデオ内で特定の針を探索するために必要なMLVUのサブセットであるNeedle QAの約15倍の改善を実現し、時間的接地を評価するのに最も適したベンチマークの1つである。

関連論文リスト

• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• TEMPLE:Temporal Preference Learning of Video LLMs via Difficulty Scheduling and Pre-SFT Alignment [48.94844127553743]
  TEMPLEはビデオ大言語モデルの時間的推論能力を高めるための体系的なフレームワークである。 提案手法は,比較的小さな自己生成DPOデータを用いて,複数のベンチマークでビデオLLM性能を継続的に改善する。 我々のTEMPLEは、SFTベースの手法をスケーラブルかつ効率的に補完するものであり、信頼性の高いビデオLLMを開発するための道を開くものである。
  論文  参考訳（メタデータ） (2025-03-21T08:00:29Z)
• VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
  大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。 ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。 QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-02T14:45:53Z)
• Free Video-LLM: Prompt-guided Visual Perception for Efficient Training-free Video LLMs [56.040198387038025]
  トレーニング不要ビデオLLMの効率的な推論のための新しいプロンプト誘導視覚認識フレームワーク(Free Video-LLM)を提案する。 提案手法は,複数のビデオ質問応答ベンチマークにおいて高い性能を維持しながら,視覚トークンの数を効果的に削減する。
  論文  参考訳（メタデータ） (2024-10-14T12:35:12Z)
• Contrastive Losses Are Natural Criteria for Unsupervised Video Summarization [27.312423653997087]
  ビデオの要約は、ビデオ内の最も情報に富むサブセットを選択して、効率的なビデオブラウジングを容易にすることを目的としている。 本稿では,局所的な相似性,グローバルな一貫性,一意性という,望ましいキーフレームを特徴とする3つの指標を提案する。 本研究は,事前学習した特徴を軽量なプロジェクションモジュールで洗練することにより,フレームレベルの重要度をさらに向上できることを示す。
  論文  参考訳（メタデータ） (2022-11-18T07:01:28Z)
• An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement [132.60976158877608]
  対比ビデオの例から直接学習する効率的な対比ビデオ強化フレームワークを提案する。 特に,空間的情報と時間的情報の暗黙的統合のための局所的モジュールとグローバルモジュールからなる新しい再帰的セルを導入する。 提案する設計では,フレーム間の情報伝達を効率的に行うことができ,複雑なネットワークの必要性を低減できる。
  論文  参考訳（メタデータ） (2020-12-24T00:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。