論文の概要: TimeZero: Temporal Video Grounding with Reasoning-Guided LVLM
- arxiv url: http://arxiv.org/abs/2503.13377v1
- Date: Mon, 17 Mar 2025 17:04:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 16:00:50.583338
- Title: TimeZero: Temporal Video Grounding with Reasoning-Guided LVLM
- Title（参考訳）: TimeZero:リアクションガイド付きLVLMによるタイムビデオグラウンド
- Authors: Ye Wang, Boshen Xu, Zihao Yue, Zihan Xiao, Ziheng Wang, Liang Zhang, Dingyi Yang, Wenxuan Wang, Qin Jin,
- Abstract要約: 時間的ビデオグラウンド(TVG)タスク用に設計された推論誘導型LVLMであるTimeZeroを紹介する。
TimeZeroはこの課題に取り組み、推論プロセスを拡張して、強化学習のみを通じて、モデルがビデオ言語との関係について推論できるようにする。
我々は2つのベンチマークで実験を行い、TimeZeroはCharades-STA上で最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 63.126150646467295
- License:
- Abstract: We introduce TimeZero, a reasoning-guided LVLM designed for the temporal video grounding (TVG) task. This task requires precisely localizing relevant video segments within long videos based on a given language query. TimeZero tackles this challenge by extending the inference process, enabling the model to reason about video-language relationships solely through reinforcement learning. To evaluate the effectiveness of TimeZero, we conduct experiments on two benchmarks, where TimeZero achieves state-of-the-art performance on Charades-STA. Code is available at https://github.com/www-Ye/TimeZero.
- Abstract（参考訳）: 時間的ビデオグラウンド(TVG)タスク用に設計された推論誘導型LVLMであるTimeZeroを紹介する。
このタスクは、与えられた言語クエリに基づいて、関連するビデオセグメントを長いビデオ内に正確にローカライズする必要がある。
TimeZeroはこの課題に取り組み、推論プロセスを拡張して、強化学習のみを通じて、モデルがビデオ言語との関係について推論できるようにする。
TimeZeroの有効性を評価するために,TimeZeroがCharades-STAの最先端性能を達成する2つのベンチマークで実験を行った。
コードはhttps://github.com/www-Ye/TimeZero.comから入手できる。
関連論文リスト
- TimeRefine: Temporal Grounding with Time Refining Video LLM [75.99665302872901]
ビデオの時間的接地は、テキストのプロンプトが与えられたビデオの中で、関連する時間的境界をローカライズすることを目的としている。
我々は時間的接地タスクを時間的精錬タスクとして再構成する。
我々は、予測セグメントが基底真理からさらに逸脱した場合、モデルをよりペナルティ化する補助予測ヘッドを組み込む。
論文 参考訳（メタデータ） (2024-12-12T18:59:11Z) - Enhancing Temporal Modeling of Video LLMs via Time Gating [38.86742466948778]
ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は、ビデオ質問応答などのビデオ・アンド・ランゲージ・タスクにおいて、優れたパフォーマンスを達成している。
既存のビデオLLMはビデオデータの時間的情報を無視しており、時間的認識のビデオ理解に苦慮している。
時間ゲーティングビデオLLM(TG-Vid)を提案する。
論文 参考訳（メタデータ） (2024-10-08T06:21:29Z) - LITA: Language Instructed Temporal-Localization Assistant [71.68815100776278]
ビデオ長に対してタイムスタンプをエンコードするタイムトークンを導入し,ビデオ中のタイムスタンプをよりよく表現する。
また、アーキテクチャにSlowFastトークンを導入し、微細な時間分解能で時間情報をキャプチャする。
時間的ローカライゼーションに重点を置くことで,既存のビデオLLMに比べて映像ベースのテキスト生成が大幅に向上することを示す。
論文 参考訳（メタデータ） (2024-03-27T22:50:48Z) - VTimeLLM: Empower LLM to Grasp Video Moments [43.51980030572101]
大規模言語モデル(LLM)は、顕著なテキスト理解能力を示している。
ビデオLLMはビデオ全体の粗い記述しか提供できない。
微細な映像モーメント理解のためのビデオLLMであるVTimeLLMを提案する。
論文 参考訳（メタデータ） (2023-11-30T10:49:56Z) - Scanning Only Once: An End-to-end Framework for Fast Temporal Grounding
in Long Videos [60.86880787242561]
ビデオ時間グラウンドは、クエリ記述にマッチしたビデオセグメントをピンポイントすることを目的としている。
高速な時間的グラウンド化のためのエンドツーエンドのフレームワークを提案する。
提案手法は最先端技術よりも優れ,textbf14.6$times$ / textbf102.8$times$高効率を実現している。
論文 参考訳（メタデータ） (2023-03-15T03:54:43Z) - Language-free Training for Zero-shot Video Grounding [50.701372436100684]
ビデオグラウンディングは、テキストと動画を同時に理解することで、時間間隔をローカライズすることを目的としている。
最も難しい問題のひとつは、非常に時間とコストのかかるアノテーションの収集です。
ゼロショット設定におけるビデオグラウンドティングのための,シンプルかつ斬新なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T06:55:29Z) - Fine-grained Semantic Alignment Network for Weakly Supervised Temporal
Language Grounding [148.46348699343991]
時間的言語接地は、自然言語記述に基づいてビデオセグメントを未編集ビデオにローカライズすることを目的としている。
既存の弱教師付きメソッドのほとんどは、候補セグメントを生成し、MILベースのフレームワークを通じて、相互アライメントを学ぶ。
我々は、弱い教師付きTLGのための新しい候補のないフレームワーク、細粒度セマンティックアライメントネットワーク(FSAN)を提案する。
論文 参考訳（メタデータ） (2022-10-21T13:10:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。