論文の概要: EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
- arxiv url: http://arxiv.org/abs/2605.13803v1
- Date: Wed, 13 May 2026 17:25:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:28.206873
- Title: EvoGround: Self-Evolving Video Agents for Video Temporal Grounding
- Title（参考訳）: EvoGround: ビデオの時間的グラウンドのための自己進化型ビデオエージェント
- Abstract要約: ビデオ時間グラウンド(VTG)は、未トリミングされたビデオと自然言語クエリを入力として取り、クエリに最もよくマッチする時間モーメントをローカライズする。
EvoGroundは、2つの結合した自己進化エージェント、提案者、解決者からなるフレームワークで、人間のラベル付きデータなしで生のビデオから時間的グラウンドを学習する。
- 参考スコア（独自算出の注目度）: 37.5259637328671
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video temporal grounding (VTG) takes an untrimmed video and a natural-language query as input and localizes the temporal moment that best matches the query. Existing methods rely on large, task-specific datasets requiring costly manual annotation. We introduce EvoGround, a framework of two coupled self-evolving agents, a proposer and a solver, that learn temporal grounding from raw videos without any human-labeled data. The proposer generates query--moment pairs from raw videos, while the solver learns to ground them and feeds back signals that improve the proposer in return. Through this self-reinforcing reinforcement-learning loop, the two agents are initialized from the same backbone and mutually improve across iterations. Trained on 2.5K unlabeled videos, EvoGround matches or surpasses fully supervised models across multiple VTG benchmarks, while emerging as a state-of-the-art fine-grained video captioner without manual labels.
- Abstract（参考訳）: ビデオ時間グラウンド(VTG)は、未トリミングされたビデオと自然言語クエリを入力として取り、クエリに最もよくマッチする時間モーメントをローカライズする。
既存のメソッドは、コストのかかる手作業によるアノテーションを必要とする大きなタスク固有のデータセットに依存している。
EvoGroundは、2つの結合した自己進化エージェント、提案者、解決者からなるフレームワークで、人間のラベル付きデータなしで生のビデオから時間的グラウンドを学習する。
提案者は、生のビデオからクエリ-モーメントペアを生成し、解答者はそれらをグラウンドし、代わりに提案者を改善するシグナルを返送する。
この自己強化強化学習ループを通じて、2つのエージェントは同じバックボーンから初期化され、イテレーション間で相互に改善される。
2.5Kのラベルのないビデオで訓練されたEvoGroundは、複数のVTGベンチマークで完全に監督されたモデルにマッチするか、超越している。
関連論文リスト
- DSE-VTG: Dual-Side Enhancement for Training-Free Video Temporal Grounding [11.584150931573738]
テキスト誘導ビデオ時間グラウンド(VTG)は、テキストクエリに基づいた未編集ビデオに関連セグメントをローカライズすることを目的としている。
近年のトレーニングフリーなVTGアプローチは、事前学習された視覚言語表現を直接マッチングすることでこの問題を軽減する。
DSE-VTGは,フレーム単位の視覚的エンコーディングと定型クエリ埋め込みの両方に対処するフレームワークである。
論文 参考訳（メタデータ） (2026-09-08T15:03:41Z) - USV: Towards Understanding the User-generated Short-form Videos [36.991933865213355]
本稿では,高レベルのセマンティックビデオ理解のためのユーザ生成ショートフォームビデオデータセットUSVについて述べる。
データセットには,手作業による検証やトリミングを必要とせずに,クエリをラベル付けすることで,プラットフォームから収集された約224Kのビデオが含まれている。
論文 参考訳（メタデータ） (2026-05-20T07:27:36Z) - ViLL-E: Video LLM Embeddings for Retrieval [55.66444095205989]
ViLL-E (Video-LLM-Embed) は、新しい埋め込み生成機構を備えた統合ビデオLLMアーキテクチャである。
我々は、生成学習とコントラスト学習を組み合わせた3段階の学習手法を用いて、このモデルを訓練する。
我々のモデルは、時間的ローカライゼーション(他のビデオLLMよりも7%)とビデオ検索(デュアルエンコーダモデルより最大4%)を大幅に改善する。
論文 参考訳（メタデータ） (2026-04-13T23:54:58Z) - Universal Video Temporal Grounding with Generative Multi-modal Large Language Models [59.781211641591405]
本稿では,自然言語クエリに基づいて映像中の時間的モーメントを正確に局所化する,ユニバーサルビデオ時間的グラウンドの計算モデルを提案する。
生成型マルチモーダル大言語モデル(MLLM)の強力な視覚言語理解機能を活用した,堅牢で普遍的なビデオグラウンドモデルUniTimeを提案する。
我々のモデルは、複雑な言語クエリを解釈しながら、多様なビュー、ジャンル、長さの動画を効果的に処理する。
論文 参考訳（メタデータ） (2025-06-23T17:53:18Z) - Vidi: Large Multimodal Models for Video Understanding and Editing [38.391725386019324]
本稿では,LMM(Large Multimodal Models)のファミリであるVidiを紹介する。
最初のリリースでは、与えられたテキストクエリに対応する入力ビデオ内の時間範囲を特定する、時間的検索に焦点を当てている。
VUE-TRベンチマークも提案する。
論文 参考訳（メタデータ） (2025-04-22T08:04:45Z) - Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models [53.235170710385006]
我々は,特定の映像モーメントをきめ細かな方法で知覚・推論できる新しいビデオLLMであるGrounded-VideoLLMを紹介した。
我々は,(1)フレーム間の関係を符号化する追加の時間的ストリームと(2)特定の時間的知識に富んだ離散的な時間的トークンを組み込むことで,モデルを洗練する。
実験では, 時間文の接地, ビデオキャプションの密接化, ビデオQAの接地といった, きめ細かい接地作業に優れていた。
論文 参考訳（メタデータ） (2024-10-04T10:04:37Z) - Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。
固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。
我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
論文 参考訳（メタデータ） (2024-03-18T17:59:58Z) - UniVTG: Towards Unified Video-Language Temporal Grounding [52.56732639951834]
Video Temporal Grounding (VTG)は、カスタム言語クエリに従ってビデオのターゲットクリップをグラウンドすることを目的としている。
我々は、UniVTGと呼ばれる多様なVTGラベルとタスクを3方向に沿って統一することを提案する。
統合されたフレームワークのおかげで、大規模な多様なラベルから事前学習する時間的基盤を解き放つことができます。
論文 参考訳（メタデータ） (2023-07-31T14:34:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。