論文の概要: DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding
- arxiv url: http://arxiv.org/abs/2607.00672v1
- Date: Wed, 01 Jul 2026 09:18:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.827012
- Title: DART: Difficulty-Adaptive Routing for Zero-Shot Video Temporal Grounding
- Title(参考訳): DART:Zero-Shot Video Temporal Groundingのための難易度適応型ルーティング
- Abstract要約: ゼロショットビデオ時間グラウンド(VTG)は、タスク固有のトレーニングなしで自然言語クエリから未トリミングされたビデオ内のイベントをローカライズする。
本研究では,大きな視覚モデルにおける構造的推論と難易度を考慮したルーティングを結合することでギャップを埋めるDARTを提案する。
Charades-STAとActivityNet Captionsでは、DARTは、同じ分散と複数のアウト・オブ・ディストリビューション設定の両方で、最先端のゼロショットパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 41.985888701957826
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Zero-shot video temporal grounding (VTG) localizes events in untrimmed videos from natural language queries without task-specific training. Existing methods rely on frame-query feature matching, which suffices for simple events but struggles with complex multi-stage queries that require understanding temporal ordering and causal structure -- a disparity we call the reasoning gap. We propose DART (Difficulty-Adaptive Routing for Temporal Grounding), which bridges this gap by coupling difficulty-aware routing with structured reasoning in large vision-language models. A query-conditioned Determinantal Point Process (DPP) serves a dual role: selecting diverse, query-relevant keyframes as temporal evidence, and providing spectral entropy as a difficulty indicator. Simple queries are routed to a Fast path for direct prediction, while complex queries follow a Slow path with Temporal Markup Prompting, which decomposes localization into global event analysis, per-frame temporal role annotation, and boundary extraction. On Charades-STA and ActivityNet Captions, DART achieves state-of-the-art zero-shot performance across both identically distributed and multiple out-of-distribution settings, improving mIoU by up to 3.5 points over the strongest baseline while using over 7 times fewer frames. The project homepage is available at https://dart-vtg.github.io/.
- Abstract(参考訳): ゼロショットビデオ時間グラウンド(VTG)は、タスク固有のトレーニングなしで自然言語クエリから未トリミングされたビデオ内のイベントをローカライズする。
既存のメソッドはフレームクエリの特徴マッチングに依存しており、単純なイベントに十分だが、時間的順序付けと因果構造を理解する必要がある複雑なマルチステージクエリに苦労する。
本研究では,DART(Difficulty-Adaptive Routing for Temporal Grounding)を提案する。
クエリ条件決定点プロセス(DPP)は、時間的証拠として多様なクエリ関連キーフレームを選択し、難易度指標としてスペクトルエントロピーを提供する。
単純なクエリは直接予測のためのFastパスにルーティングされるが、複雑なクエリは、グローバルイベント分析、フレーム単位の時間ロールアノテーション、境界抽出にローカライゼーションを分解するTemporal Markup PromptingでSlowパスに従う。
Charades-STAとActivityNet Captionsでは、DARTは、同じ分散と複数のアウト・オブ・ディストリビューション設定の両方で最先端のゼロショットのパフォーマンスを達成し、最強のベースライン上でmIoUを最大3.5ポイント改善し、フレーム数を7倍以上削減した。
プロジェクトのホームページはhttps://dart-vtg.github.io/.com/で公開されている。
関連論文リスト
- Routing Before Looking: Query-Adaptive Evidence Acquisition for Long-form Video Understanding [34.47367969610384]
Route2Lookは、ロングフォームビデオ理解においてクエリ適応型エビデンスを取得するための軽量でモデルに依存しないフレームワークである。
Route2Lookは、全体的コンテキストのグローバルブラウズ、明示的な時間的手がかりの時間的グラウンド、セマンティック検索のセマンティック検索という3つのツールを備えたルート・フック・モードループで動作する。
挑戦的なロングビデオベンチマークの実験では、Rute2Lookは、データセットとクエリタイプ間で強いフレーム効率を維持しながら、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-08-21T07:23:35Z) - VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding [60.161767365040554]
本稿では,クエリグラウンドビジュアルサンプリングのためのトレーニングフリーかつプラグイン・アンド・プレイフレームワークを提案する。
Visual Firstは、各クエリをグローバルまたはローカルに分類し、それに対応するサンプリング戦略を適用する。
実験の結果、Visualは均一サンプリングよりも複数のLVLMを継続的に改善し、ビデオ-MME、LongVideoBench、MLVUで5.2%、7.7%、11.6%を達成し、Qwen2.5-VL-7Bで既存のトレーニング不要のビジュアルサンプリング手法より優れていた。
論文 参考訳(メタデータ) (2026-07-30T16:23:10Z) - SPATIOROUTE: Dynamic Prompt Routing for Zero-Shot Spatial Reasoning [20.773619604028283]
本稿では,各質問をセマンティックにカスタマイズしたプロンプトテンプレートにルーティングする動的プロンプト生成手法であるSpatioRouteを紹介する。
SpatioRouteは、固定されたプロンプトベースラインに対して、一貫した全体的な精度を最大5%向上させ、ゼロショットビデオのみの空間VQAのための新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2026-05-18T10:54:55Z) - AdaSpot: Spend Resolution Where It Matters for Precise Event Spotting [59.31340724915079]
イベントスポッティングは、スポーツ分析、ロボティクス、自律システムにおけるアプリケーションにとって重要なタスクである。
bfAdaSpotは厳格な評価基準の下で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-02-25T16:24:48Z) - TAG: A Simple Yet Effective Temporal-Aware Approach for Zero-Shot Video Temporal Grounding [12.57589714067771]
Video Temporal Groundingは、与えられた自然言語クエリに基づいて、関連するビデオセグメントを抽出することを目的としている。
従来のアプローチでは、同じ意味論を共有する時間的に連続したフレームが複数のセグメントに分割されるセマンティックな断片化に悩まされていた。
本稿では、時間プーリング、時間的コヒーレンスクラスタリング、類似度調整を取り入れた、ゼロショットビデオ時間的グラウンディングのための、シンプルで効果的な時間的認識アプローチを提案する。
論文 参考訳(メタデータ) (2025-08-11T12:38:46Z) - Logic-in-Frames: Dynamic Keyframe Search via Visual Semantic-Logical Verification for Long Video Understanding [23.022070084937603]
本稿では,視覚意味論理探索のパラダイムの下で選択を再構成する意味論的検索フレームワークを提案する。
提案手法は,キーフレーム選択の指標を手動でアノテートしたベンチマーク上で,新たなSOTA性能を確立する。
論文 参考訳(メタデータ) (2025-03-17T13:07:34Z) - Temporally Grounding Instructional Diagrams in Unconstrained Videos [51.85805768507356]
本稿では,ビデオ中の命令図中のクエリ列を同時にローカライズするという課題について検討する。
既存のほとんどのメソッドは、クエリの固有の構造を無視しながら、一度に1つのクエリをグラウンドすることに焦点を当てている。
ステップダイアグラムの視覚的特徴を包括的にペアリングして構築した複合クエリを提案する。
ステップ図のグラウンド化のためのIAWデータセットと自然言語クエリのグラウンド化のためのYouCook2ベンチマークに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2024-07-16T05:44:30Z) - Single-Stage Visual Query Localization in Egocentric Videos [79.71065005161566]
エンドツーエンドのトレーニングが可能なシングルステージのVQLフレームワークを提案する。
我々は,クエリとビデオフレーム間の問合せ対応を考慮し,問合せとビデオの関係を確立する。
実験により,提案手法の精度は従来のVQL手法よりも20%向上し,推論速度は10倍向上した。
論文 参考訳(メタデータ) (2023-06-15T17:57:28Z) - Learning Commonsense-aware Moment-Text Alignment for Fast Video Temporal
Grounding [78.71529237748018]
自然言語クエリで記述された時間的ビデオセグメントを効果的かつ効率的にグラウンド化することは、視覚・言語分野において必須の能力である。
既存のほとんどのアプローチでは、接地性能を改善するために、厳密に設計されたクロスモーダルな相互作用モジュールを採用しています。
本稿では,コモンセンスの視覚とテキストの表現を補完的なコモンスペースに組み込んだ,コモンセンス対応のクロスモーダルアライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-04T13:07:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。