論文の概要: EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
- arxiv url: http://arxiv.org/abs/2605.13803v1
- Date: Wed, 13 May 2026 17:25:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:28.206873
- Title: EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
- Title(参考訳): EvoGround: ビデオの時間的グラウンドのための自己進化型ビデオエージェント
- Authors: Minjoon Jung, Byoung-Tak Zhang, Lorenzo Torresani,
- Abstract要約: ビデオ時間グラウンド(VTG)は、未トリミングされたビデオと自然言語クエリを入力として取り、クエリに最もよくマッチする時間モーメントをローカライズする。
EvoGroundは、2つの結合した自己進化エージェント、提案者、解決者からなるフレームワークで、人間のラベル付きデータなしで生のビデオから時間的グラウンドを学習する。
- 参考スコア(独自算出の注目度): 37.5259637328671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video temporal grounding (VTG) takes an untrimmed video and a natural-language query as input and localizes the temporal moment that best matches the query. Existing methods rely on large, task-specific datasets requiring costly manual annotation. We introduce EvoGround, a framework of two coupled self-evolving agents, a proposer and a solver, that learn temporal grounding from raw videos without any human-labeled data. The proposer generates query--moment pairs from raw videos, while the solver learns to ground them and feeds back signals that improve the proposer in return. Through this self-reinforcing reinforcement-learning loop, the two agents are initialized from the same backbone and mutually improve across iterations. Trained on 2.5K unlabeled videos, EvoGround matches or surpasses fully supervised models across multiple VTG benchmarks, while emerging as a state-of-the-art fine-grained video captioner without manual labels.
- Abstract(参考訳): ビデオ時間グラウンド(VTG)は、未トリミングされたビデオと自然言語クエリを入力として取り、クエリに最もよくマッチする時間モーメントをローカライズする。
既存のメソッドは、コストのかかる手作業によるアノテーションを必要とする大きなタスク固有のデータセットに依存している。
EvoGroundは、2つの結合した自己進化エージェント、提案者、解決者からなるフレームワークで、人間のラベル付きデータなしで生のビデオから時間的グラウンドを学習する。
提案者は、生のビデオからクエリ-モーメントペアを生成し、解答者はそれらをグラウンドし、代わりに提案者を改善するシグナルを返送する。
この自己強化強化学習ループを通じて、2つのエージェントは同じバックボーンから初期化され、イテレーション間で相互に改善される。
2.5Kのラベルのないビデオで訓練されたEvoGroundは、複数のVTGベンチマークで完全に監督されたモデルにマッチするか、超越している。
関連論文リスト
- ViLL-E: Video LLM Embeddings for Retrieval [55.66444095205989]
ViLL-E (Video-LLM-Embed) は、新しい埋め込み生成機構を備えた統合ビデオLLMアーキテクチャである。
我々は、生成学習とコントラスト学習を組み合わせた3段階の学習手法を用いて、このモデルを訓練する。
我々のモデルは、時間的ローカライゼーション(他のビデオLLMよりも7%)とビデオ検索(デュアルエンコーダモデルより最大4%)を大幅に改善する。
論文 参考訳(メタデータ) (2026-04-13T23:54:58Z) - Vidi: Large Multimodal Models for Video Understanding and Editing [38.391725386019324]
本稿では,LMM(Large Multimodal Models)のファミリであるVidiを紹介する。
最初のリリースでは、与えられたテキストクエリに対応する入力ビデオ内の時間範囲を特定する、時間的検索に焦点を当てている。
VUE-TRベンチマークも提案する。
論文 参考訳(メタデータ) (2025-04-22T08:04:45Z) - Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。
我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。
実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
論文 参考訳(メタデータ) (2024-10-04T10:04:37Z) - Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。
固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。
我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
論文 参考訳(メタデータ) (2024-03-18T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。