論文の概要: ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding
- arxiv url: http://arxiv.org/abs/2607.13421v1
- Date: Wed, 15 Jul 2026 03:50:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.633797
- Title: ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding
- Title（参考訳）: ScanFocus: 時空間ビデオグラウンドのための粗大なフレームワーク
- Abstract要約: S-Temporal Video Groundingは、自然言語表現によって記述されたビデオストリームから、特定のオブジェクトの視覚的軌跡を検索することを目的としている。
ほとんどの高度な手法は、グローバルコンテキストモデリングと正確な境界ローカライゼーションのバランスをとるのに苦労している。
本稿では,STVGタスクをグローバル時空間スキャンと局所境界焦点に分解する,粗大きめのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 23.883675818190188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatio-Temporal Video Grounding (STVG) aims to retrieve the visual trajectory of a specific object from a video stream as described by a natural language expression. However, most advanced methods struggle to balance global context modeling with precise boundary localization. Due to the prohibitive computational costs of processing long videos, these approaches typically resort to low-rate temporal downsampling and implicit motion modeling. This inevitably suppresses high-frequency boundary cues and neglects the explicit inter-frame dependencies required for precise boundary delineation. To address these limitations, we present \textbf{ScanFocus}, a novel coarse-to-fine framework that decouples the STVG task into a global spatio-temporal scan and a local boundary focus. Specifically, we utilize a unified vision-language fusion encoder combined with a lightweight Deformable Semantic-Motion Fusion module to efficiently align multimodal features and generate coarse proposals. To recover the suppressed fine-grained details, we introduce the Semantic-Guided Temporal Aggregator (SGTA) in the refinement stage. By densely sampling around coarse boundaries, SGTA explicitly models short-term temporal interactions under semantic guidance, capturing rapid motion changes for precise timestamp regression. Extensive experiments on three widely used benchmarks demonstrate the performance superiority of our proposed method over previous approaches. Code will be released at https://github.com/TenMinutes209/ScanFocus.
- Abstract（参考訳）: Spatio-Temporal Video Grounding (STVG) は、自然言語表現によって記述されたビデオストリームから、特定の物体の視覚的軌跡を検索することを目的としている。
しかし、ほとんどの高度な手法は、グローバルコンテキストモデリングと正確な境界ローカライゼーションのバランスをとるのに苦労している。
長いビデオを処理するのが違法な計算コストのため、これらの手法は典型的には低レートの時間的ダウンサンプリングと暗黙のモーションモデリングに頼っている。
これは必然的に高周波境界キューを抑圧し、正確な境界線化に必要な明示的なフレーム間依存関係を無視する。
これらの制約に対処するために、STVGタスクをグローバル時空間スキャンと局所境界焦点に分離する、新しい粗大きめのフレームワークである \textbf{ScanFocus} を提示する。
具体的には、統合視覚言語融合エンコーダと軽量なDeformable Semantic-Motion Fusionモジュールを組み合わせることで、マルチモーダルな特徴を効率よく整列し、粗い提案を生成する。
精細化の抑制された細部を回復するために,精細化段階においてセマンティックガイド付きテンポラルアグリゲータ(SGTA)を導入する。
粗い境界線を高密度にサンプリングすることにより、SGTAはセマンティックガイダンスの下での短期的時間的相互作用を明示的にモデル化し、正確なタイムスタンプ回帰のための迅速な動きの変化をキャプチャする。
広範に使用されている3つのベンチマークに対する大規模な実験は、提案手法が従来の手法よりも優れていることを示す。
コードはhttps://github.com/TenMinutes209/ScanFocus.comでリリースされる。
関連論文リスト
- Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification [11.171207895220578]
長いビデオの時間的接地には、正確な時間的局所化と、自然言語クエリで条件付けられた頑健なオブジェクト追跡が必要である。
本稿では,フレームレベルから第2レベルのトラッキングへ移行し,シーケンス長を低減しつつ連続性を保ちながら秒間アノテーションを実行する実用的なパイプラインを提案する。
論文 参考訳（メタデータ） (2026-06-27T17:42:32Z) - RAFT-MSF++: Temporal Geometry-Motion Feature Fusion for Self-Supervised Monocular Scene Flow [51.43025173196566]
単眼のシーンフロー推定は画像列から高密度な3次元動きを復元することを目的としている。
RAFT-MSF++は,時間的特徴を融合して深度とシーンフローを推定する自己教師型マルチフレームフレームワークである。
実験の結果、RAFT-MSF++はKITTI Scene Flowベンチマークで24.14%のSF-allを達成した。
論文 参考訳（メタデータ） (2026-04-21T11:32:49Z) - MomentSeg: Moment-Centric Sampling for Enhanced Video Pixel Understanding [40.37010049965347]
Referring Video Object (RefVOS)は、自然言語記述でガイドされたビデオにターゲットオブジェクトをセグメント化しようとする。
本稿では,時空間接地(TSG)とRefVOSを協調的に最適化し,キーモーメント接地機能を自然に組み込んだ統合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-10T11:18:21Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - Spatial Decomposition and Temporal Fusion based Inter Prediction for
Learned Video Compression [59.632286735304156]
学習ビデオ圧縮のための空間分解と時間融合に基づく相互予測を提案する。
SDDに基づく動きモデルと長時間の時間的融合により,提案した学習ビデオはより正確な相互予測コンテキストを得ることができる。
論文 参考訳（メタデータ） (2024-01-29T03:30:21Z) - EtC: Temporal Boundary Expand then Clarify for Weakly Supervised Video
Grounding with Multimodal Large Language Model [63.93372634950661]
不完全な境界を拡大する上で、より価値のある情報を導入しながら、元の時間的内容の整合性を維持する新しい視点を提案する。
ビデオの連続性、すなわち隣接するフレーム間の視覚的類似性により、我々は、初期擬似境界内で各フレームにアノテートするために強力なマルチモーダル大言語モデル(MLLM)を使用する。
論文 参考訳（メタデータ） (2023-12-05T04:15:56Z) - Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video
Grounding [35.73830796500975]
本稿では、時空間整合性認識変換器(STCAT)と呼ばれるエンドツーエンドのワンステージフレームワークを提案する。
このテンプレートを十分な映像認識下で生成するために,効率的なグローバルコンテキストモデリングのためのエンコーダ・デコーダアーキテクチャを提案する。
提案手法は,2つの挑戦的ビデオベンチマークにおいて,従来の最先端技術よりも明らかなマージンで優れていた。
論文 参考訳（メタデータ） (2022-09-27T11:13:04Z) - Video Activity Localisation with Uncertainties in Temporal Boundary [74.7263952414899]
時間とともにビデオ活動のローカライゼーションを行う方法は、時間的境界が決定され正確であると暗黙的に仮定する。
無記述の自然ビデオでは、異なるアクティビティがスムーズに移動するため、アクティビティの開始と終了が時間とともに正確にラベル付けされることは本質的に曖昧である。
フレキシブルかつ適応的な活動時間境界に対応するための弾性モーメントバウンディング(EMB)を導入する。
論文 参考訳（メタデータ） (2022-06-26T16:45:56Z) - Temporal Context Aggregation Network for Temporal Action Proposal
Refinement [93.03730692520999]
時間的行動提案生成はビデオ理解分野において難しいが重要な課題である。
現在の方法はまだ不正確な時間境界と検索に使用される劣った自信に苦しんでいます。
TCANet は、「ローカルおよびグローバル」な時間的コンテキストアグリゲーションを通じて、高品質のアクション提案を生成するために提案します。
論文 参考訳（メタデータ） (2021-03-24T12:34:49Z) - Learning Salient Boundary Feature for Anchor-free Temporal Action
Localization [81.55295042558409]
時間的行動のローカライゼーションはビデオ理解において重要な課題である。
純粋にアンカーフリーな時間的定位法を初めて提案する。
このモデルには,(i)エンドツーエンドのトレーニング可能な基本予測器,(ii)サリエンシベースのリファインメントモジュール,(iii)いくつかの一貫性制約が含まれている。
論文 参考訳（メタデータ） (2021-03-24T12:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。