論文の概要: SuperClip Pyramid for Video Temporal Grounding
- arxiv url: http://arxiv.org/abs/2610.26925v1
- Date: Sat, 17 Oct 2026 14:11:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.398595
- Title: SuperClip Pyramid for Video Temporal Grounding
- Title(参考訳): ビデオ時間グラウンド化のためのスーパークリップピラミッド
- Abstract要約: マルチスケールの時間階層上に構築されたSuperClip Video Temporal Grounding (SCVTG) について述べる。
SCVTGはSuperClipと呼ばれるセグメンテーションに隣接するクリップをグループ化してSuperClipピラミッドを構築する。
時間的に適応したカーネルを導入し、時間的に条件付けられた重みを通してSuperClipsを集約し、フレキシブルアグリゲーションを可能にする。
- 参考スコア(独自算出の注目度): 40.09105653658603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid expansion of online video content, video temporal grounding has become essential for localizing moments based on user-specific queries, comprising two subtasks: moment retrieval (MR) and highlight detection (HD). While recent approaches adopt DETR-style decoders or temporal pyramid architectures, they rely on single-scale feature maps or uniformly downsampled representations, limiting their ability to capture semantic boundaries and variable-length events. In this paper, we present SuperClip Video Temporal Grounding (SCVTG) built on a multi-scale temporal hierarchy that better captures distinctive events at various granularities. SCVTG constructs a SuperClip pyramid by grouping adjacent clips into semantically coherent segments, termed SuperClips. Further, to aggregate these SuperClips having variable duration and temporal location, we introduce a temporally adaptive kernel that aggregates SuperClips through temporally conditioned weights, enabling flexible aggregation. On top of this, we design relative saliency losses to guide the model in learning inter-clip importance, enhancing its ability to distinguish relevant events. Extensive experiments show that SCVTG achieves the best performance across five video temporal grounding benchmarks with promising gains.
- Abstract(参考訳): オンラインビデオコンテンツの急速な拡大に伴い、ビデオの時間的グラウンド化は、ユーザ固有のクエリに基づいて、モーメント検索(MR)とハイライト検出(HD)の2つのサブタスクからなるモーメントのローカライズに欠かせないものとなっている。
近年のアプローチではDETRスタイルのデコーダや時間ピラミッドアーキテクチャを採用しているが、単一スケールの機能マップや一様アンサンプ表現に依存しており、セマンティックバウンダリと可変長イベントをキャプチャする能力を制限している。
本稿では,マルチスケールの時間階層上に構築されたSuperClip Video Temporal Grounding(SCVTG)について述べる。
SCVTGはSuperClipと呼ばれるセグメンテーションに隣接するクリップをグループ化してSuperClipピラミッドを構築する。
さらに, 時間的および時間的位置の異なるこれらのスーパークリップを集約するために, 時間的条件付き重みを通してスーパークリップを集約する時間的適応カーネルを導入し, フレキシブルアグリゲーションを可能にする。
これに加えて、我々は、関連イベントを識別する能力を高め、クリック間重要度を学習する際のモデルを導くために、相対的な正当性損失を設計する。
大規模な実験により、SCVTGは、有望なゲインを持つ5つのビデオ時間グラウンドベンチマークで最高のパフォーマンスを達成することが示された。
関連論文リスト
- Exploiting Temporal State Space Sharing for Video Semantic Segmentation [53.8810901249897]
ビデオセマンティックセグメンテーション(VSS)はシーンの時間的進化を理解する上で重要な役割を担っている。
従来の手法では、ビデオはフレーム単位で、あるいは短い時間ウィンドウで分割されることが多く、時間的コンテキストや冗長な計算、重いメモリ要求に繋がる。
本研究では,時間的特徴共有にマンバ状態空間モデルを活用するための時間的ビデオ状態空間共有アーキテクチャを提案する。
本モデルでは,映像フレーム間の関連情報を効率的に伝播する選択的ゲーティング機構を特徴とし,メモリ量の多い機能プールの必要性を解消する。
論文 参考訳(メタデータ) (2025-03-26T01:47:42Z) - STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding [48.12128042470839]
本稿では,STOP(Spatial-Temporal dynamic Prompting)モデルを提案する。
2つの相補的なモジュールで構成され、フレーム内の空間的プロンプトとフレーム間の時間的プロンプトである。
STOPは、最先端のメソッドに対して一貫して優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-03-20T09:16:20Z) - Temporal Preference Optimization for Long-Form Video Understanding [63.196246578583136]
TPO(Temporal Preference Optimization)は、ビデオLMMの時間的グラウンド機能を高めるために設計された、新しいポストトレーニングフレームワークである。
TPOは、手動の注釈付きデータへの依存を減らしながら、時間的理解を著しく向上させる。
LLaVA-Video-TPOは、Video-MMEベンチマークでトップ7Bモデルとしての地位を確立している。
論文 参考訳(メタデータ) (2025-01-23T18:58:03Z) - No-frills Temporal Video Grounding: Multi-Scale Neighboring Attention
and Zoom-in Boundary Detection [52.03562682785128]
時間的ビデオグラウンドティングは、未編集のビデオから言語クエリの時間間隔を取得することを目的としている。
テレビGにおける重要な課題は、低SNR(Semantic Noise Ratio)による低SNRの性能低下である。
本稿では,2つのコアモジュールからなる非フリーズTVGモデルを提案する。
論文 参考訳(メタデータ) (2023-07-20T04:12:10Z) - Transform-Equivariant Consistency Learning for Temporal Sentence
Grounding [66.10949751429781]
ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。
私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。
特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
論文 参考訳(メタデータ) (2023-05-06T19:29:28Z) - Temporally Distributed Networks for Fast Video Semantic Segmentation [64.5330491940425]
TDNetは、高速かつ正確なビデオセマンティックセグメンテーションのために設計された時間分散ネットワークである。
我々は,深層CNNの特定の高層層から抽出した特徴を,より浅いサブネットワークから抽出した特徴の合成により近似することができることを観察した。
Cityscapes, CamVid, NYUD-v2 の実験により,本手法が高速かつ低レイテンシで最先端の精度を実現することを示す。
論文 参考訳(メタデータ) (2020-04-03T22:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。