論文の概要: DSE-VTG: Dual-Side Enhancement for Training-Free Video Temporal Grounding

• arxiv url: http://arxiv.org/abs/2609.08850v1
• Date: Tue, 08 Sep 2026 15:03:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 15:28:44.240142
• Title: DSE-VTG: Dual-Side Enhancement for Training-Free Video Temporal Grounding
• Title（参考訳）: DSE-VTG:DSE-VTGによる訓練用ビデオ時間グラウンドの2次元化
• Abstract要約: テキスト誘導ビデオ時間グラウンド(VTG)は、テキストクエリに基づいた未編集ビデオに関連セグメントをローカライズすることを目的としている。 近年のトレーニングフリーなVTGアプローチは、事前学習された視覚言語表現を直接マッチングすることでこの問題を軽減する。 DSE-VTGは,フレーム単位の視覚的エンコーディングと定型クエリ埋め込みの両方に対処するフレームワークである。
• 参考スコア（独自算出の注目度）: 11.584150931573738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-guided Video Temporal Grounding (VTG) aims to localize the relevant segments in an untrimmed video based on text queries, yet collecting dense temporal annotations and training task-specific models remain costly and brittle under distribution shift. Recent training-free VTG approaches mitigate this issue by directly matching pretrained vision-language representations, but they still face two fundamental information bottlenecks: frame-wise visual encoding overlooks temporal dynamics, while fixed query embeddings cannot resolve query ambiguity. To address these issues, we propose DSE-VTG, a \underline{D}ual-\underline{S}ide \underline{E}nhancement framework that addresses both without any task-specific training. On the visual side, Multi-scale Similarity Fusion (MSF) combines frame- and clip-level similarities into a unified, temporally aware similarity profile. On the textual side, Query-level Test-Time Adaptation (Q-TTA) optimizes a lightweight additive offset to adapt the query embedding to the video at test time, without finetuning the backbone or calling external large language models. Extensive experiments on three standard and two OOD benchmarks show that DSE-VTG achieves state-of-the-art performance among training-free methods. On Charades-STA, it improves mIoU over the strongest prior training-free method by 5.61 points. Under distribution shift, DSE-VTG reaches 50.86 mIoU on Charades-CG Novel-Word, surpassing the strongest supervised baseline by 2.76 mIoU. Our code will be released upon acceptance.
• Abstract（参考訳）: テキスト誘導ビデオ時間グラウンド(VTG)は、テキストクエリに基づいて、関連セグメントを未トリミングされたビデオにローカライズすることを目的としている。 近年のトレーニングフリーなVTGアプローチは、事前訓練された視覚言語表現を直接マッチングすることでこの問題を軽減するが、フレームワイドの視覚的エンコーディングは時間的ダイナミクスを軽視する一方、クエリの埋め込みはクエリのあいまいさを解決できないという2つの基本的な情報ボトルネックに直面している。 これらの問題に対処するため,タスク固有のトレーニングを必要とせず,両方の問題に対処する DSE-VTG を提案する。 視覚面では、Multi-scale similarity Fusion (MSF) はフレームレベルとクリップレベルの類似性を統合された時間的類似プロファイルに結合する。 テキスト側では、クエリレベルのTest-Time Adaptation (Q-TTA)は、バックボーンを微調整したり、外部の大規模言語モデルを呼び出すことなく、テスト時にビデオに埋め込まれたクエリを適応するために、軽量な加算オフセットを最適化する。 3つの標準と2つのOODベンチマークの大規模な実験により、DSE-VTGはトレーニング不要の手法で最先端のパフォーマンスを達成することが示された。 Charades-STAでは、最強のトレーニングフリー方式よりもmIoUを5.61ポイント改善している。 分布シフトにより、DSE-VTGはCharades-CG Novel-Word上で50.86 mIoUに達した。 私たちのコードは受け入れ次第解放されます。

関連論文リスト

• A Paradigm Shift: Fully End-to-End Training for Temporal Sentence Grounding in Videos [27.879461637513984]
  ビデオの時間文グラウンド(TSGV)は、非トリミングビデオからの文クエリに意味的に対応する時間セグメントをローカライズすることを目的としている。 現在のほとんどの手法では、オフライン機能抽出のために事前訓練されたクエリ非依存のビジュアルエンコーダを採用しており、ビデオバックボーンは凍結されており、TSGVに最適化されていない。 本稿では,ビデオバックボーンとローカライゼーションヘッドを協調的に最適化する,完全なエンドツーエンドパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-04-03T08:26:12Z)
• STVG-R1: Incentivizing Instance-Level Reasoning and Grounding in Videos via Reinforcement Learning [65.36458157092207]
  視覚言語モデル(VLM)では、テキスト記述と視覚座標のミスアライメントはしばしば幻覚を引き起こす。 本稿では,座標の調整が難しい問題を回避するために,新しい視覚的プロンプトパラダイムを提案する。 本稿では,STVGの最初の強化学習フレームワークであるSTVG-R1を紹介する。
  論文  参考訳（メタデータ） (2026-02-12T08:53:32Z)
• Video-LLMs with Temporal Visual Screening [59.18455762289321]
  テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
  論文  参考訳（メタデータ） (2025-08-27T14:33:32Z)
• Temporal Grounding as a Learning Signal for Referring Video Object Segmentation [29.646697516547558]
  Referring Video Object (RVOS)は、自然言語表現に基づくビデオ内のオブジェクトのセグメンテーションと追跡を目的としており、ビジュアルコンテンツとテキストクエリの正確なアライメントを必要とする。 既存の手法は、主に訓練中にフレームサンプリングとすべての可視物体の監督が区別できないため、意味的ミスアライメントに悩まされることが多い。 私たちは、MeViSベンチマークに基づいて構築されたデータセットであるMeViS-Mを紹介します。
  論文  参考訳（メタデータ） (2025-08-16T07:34:43Z)
• Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
  ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。 固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。 我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
  論文  参考訳（メタデータ） (2024-03-18T17:59:58Z)
• Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding [70.31050639330603]
  ビデオ段落の接頭辞は、意味的関係と時間的順序を持つ複数の文を、トリミングされていないビデオからローカライズすることを目的としている。 既存のVPGアプローチは、かなりの数の時間ラベルに大きく依存している。 我々は、時間的アノテーションの必要性を排除するために、Wakly-Supervised Video paragraph Grounding (WSVPG)を導入し、探索する。
  論文  参考訳（メタデータ） (2024-03-18T04:30:31Z)
• Transform-Equivariant Consistency Learning for Temporal Sentence Grounding [66.10949751429781]
  ビデオ毎により差別的な表現を学習するために,新しい同変一貫性規則学習フレームワークを導入する。 私たちのモチベーションは、クエリ誘導アクティビティの時間的境界を一貫して予測することにある。 特に,ビデオの完全性と滑らか性を高めるために,自己教師付き一貫性損失モジュールを考案した。
  論文  参考訳（メタデータ） (2023-05-06T19:29:28Z)
• Self-supervised Learning for Semi-supervised Temporal Language Grounding [84.11582376377471]
  時間的言語接地(TLG)は、ビデオ中の特定の意味を含むセグメントの時間的境界をローカライズすることを目的としている。 以前の作業では、大量の手動アノテーションを必要とする完全に教師された設定や、満足のいくパフォーマンスを達成できない弱監督された設定で、このタスクに取り組みました。 アノテーションを限定して高い性能を達成するため,この課題を半教師付き方法で解決し,半教師付きテンポラル言語グラウンドディング(STLG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-23T16:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。