論文の概要: Pocket-STVG: lightweight architecture for Spatio-Temporal Video Grounding
- arxiv url: http://arxiv.org/abs/2609.31135v1
- Date: Fri, 25 Sep 2026 11:26:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.36266
- Title: Pocket-STVG: lightweight architecture for Spatio-Temporal Video Grounding
- Title（参考訳）: Pocket-STVG:時空間ビデオグラウンディングのための軽量アーキテクチャ
- Abstract要約: 時間的ビデオグラウンディングは、自然言語クエリに対応するビデオの中で、カスケード時間管をローカライズすることを目的としている。
本稿では,大規模なエンドツーエンドモデルではなく,効率的な事前学習コンポーネントを組み合わせることで,STVGに対処する軽量アーキテクチャであるPocket-STVGPを提案する。
P-STVGは弱い教師付き手法と同等に動作し、初期のゼロショットアプローチをメモリと計算コストのごく一部で改善する。
- 参考スコア（独自算出の注目度）: 1.2561060953896948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatio-Temporal Video Grounding (STVG) aims to localize the spatio-temporal tube in a video corresponding to a natural language query. While recent methods achieve strong performance in fully supervised, weakly supervised, and zero-shot settings, they typically rely on computationally expensive architectures, complex training pipelines, or multimodal large language models. We present Pocket-STVG (P-STVG), a lightweight cascade architecture that addresses STVG by combining efficient pre-trained components instead of large end-to-end models. P-STVG integrates a temporal-aware video encoder based on MobileViCLIP, a spatial encoder-decoder derived from MDETR, and a shared aligned text encoder. Temporal localization is performed through either a lightweight 1D U-Net or a simple thresholding strategy, enabling the same framework to operate in both weakly supervised and zero-shot settings. Furthermore, video representations are precomputed independently of the query, yielding an indexing-friendly pipeline for efficient inference and large-scale video collections. Despite requiring fewer than 90M parameters, P-STVG performs on par with weakly supervised methods and improves on earlier zero-shot approaches at a fraction of their memory and computational cost, establishing a favorable performance-efficiency trade-off for STVG.
- Abstract（参考訳）: Spatio-Temporal Video Grounding (STVG) は、時空間管を自然言語クエリに対応するビデオにローカライズすることを目的としている。
最近の手法は、完全教師付き、弱教師付き、ゼロショット設定で高いパフォーマンスを達成するが、一般的に計算コストの高いアーキテクチャ、複雑なトレーニングパイプライン、マルチモーダルな大規模言語モデルに依存している。
本稿では,大規模なエンド・ツー・エンドモデルではなく,効率的な事前学習コンポーネントを組み合わせることで,STVGに対処する軽量カスケードアーキテクチャであるPocket-STVGを提案する。
P-STVGは、MobileViCLIPに基づく時間対応ビデオエンコーダ、MDETRから派生した空間エンコーダデコーダ、および共有整列テキストエンコーダを統合する。
時間的ローカライゼーションは、軽量な1D U-Netまたは単純なしきい値設定戦略によって行われる。
さらに、ビデオ表現はクエリとは独立してプリ計算され、効率的な推論と大規模なビデオコレクションのためのインデックス付けフレンドリーなパイプラインが生成される。
90M未満のパラメータを必要とするにもかかわらず、P-STVGは弱い教師付き手法と同等に動作し、初期のゼロショットアプローチをメモリと計算コストのごく一部で改善し、STVGの良好な性能と効率のトレードオフを確立する。
関連論文リスト
- Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding [80.10744910189997]
マルチモーダルな言語モデルは通常、トラジェクトリを自動回帰的にシリアライズする。
時間ブロックにグラウンドを分解する生成式であるParallel Tube Decoding (PTD)を導入する。
VidSTGでは、PTDチューブはコンプリートを79倍に減らし、空間デコーディングを92倍に向上させる。
論文 参考訳（メタデータ） (2026-08-28T11:05:30Z) - LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。
単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。
LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
論文 参考訳（メタデータ） (2026-08-27T17:26:24Z) - Unlocking the Potential of Grounding DINO in Videos: Parameter-Efficient Adaptation for Limited-Data Spatial-Temporal Localization [24.301393950423897]
本稿では,事前学習した2次元視覚言語モデルをビデオタスクに適用する,データ効率のよいフレームワークST-GDを紹介する。
小さなデータセットで事前訓練された事前データを破壊しないように、ST-GDはベースモデルを凍結させ、軽量アダプタを戦略的に注入する。
ST-GDはデータスカースシナリオに優れ、限定スケールのHC-STVG v1/v2ベンチマークで高い競争性能を達成する。
論文 参考訳（メタデータ） (2026-04-14T06:32:24Z) - Towards Long-Form Spatio-Temporal Video Grounding [37.582576273199955]
長期的なビデオは、より長い時間的スパンを含み、より無関係な情報を含んでいる。
ビデオシーケンス全体を一度に予測する従来のSTVG法とは異なり、ART-STVGは動画をストリーミング入力フレームとして扱い、順次処理する。
異なるモーメントからのメモリは必ずしも現在のフレームに関係しないため、単純かつ効果的なメモリ選択戦略を導入する。
論文 参考訳（メタデータ） (2026-02-26T18:04:09Z) - TrajTok: Learning Trajectory Tokens enables better Video Understanding [63.1260672430712]
ビデオモデルのトークン化は、通常、パッチ化によって、過剰で冗長な数のトークンを生成する。
そこで我々は,ビデオモデルと完全に統合され,共にトレーニングされたビデオトークンモジュールであるTrajTokを提案する。
本稿では,前処理した視覚特徴量(TrajAdapter)の探索ヘッドとしてシームレスに統合できるか,特に長ビデオ推論において高い性能を持つ視覚言語モデル(TrajVLM)のアライメントコネクタとして利用できることを示す。
論文 参考訳（メタデータ） (2026-02-26T09:15:34Z) - Thinking With Bounding Boxes: Enhancing Spatio-Temporal Video Grounding via Reinforcement Fine-Tuning [41.30900315121155]
マルチモーダル大言語モデル(LM)は、トレーニング目的のミスアライメントと、標準のビジュアルエンコーダにおける微粒な微粒化アライメントの弱さにより、STVGでは性能が劣る。
本稿では,STVG-o1を提案する。STVG-o1は,市販のMLLMがアーキテクチャ変更なしにリアルタイムのSTVG性能を実現するための最初のフレームワークである。
論文 参考訳（メタデータ） (2025-11-26T13:21:15Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z) - Video-Panda: Parameter-efficient Alignment for Encoder-free Video-Language Models [26.866184981409607]
本稿では,計算オーバーヘッドを大幅に削減しつつ,競争性能を向上するビデオ言語理解のための効率的なエンコーダレス手法を提案する。
本稿では,ビデオ入力を直接処理する時空間アライメントブロック(STAB)を提案する。
本モデルでは,標準ベンチマークによるオープンエンドビデオ質問応答に対して,エンコーダに基づくアプローチに匹敵する,あるいは優れた性能を実現する。
論文 参考訳（メタデータ） (2024-12-24T18:59:56Z) - Disentangling Spatial and Temporal Learning for Efficient Image-to-Video
Transfer Learning [59.26623999209235]
ビデオの空間的側面と時間的側面の学習を両立させるDiSTを提案する。
DiSTの非絡み合い学習は、大量の事前学習パラメータのバックプロパゲーションを避けるため、非常に効率的である。
5つのベンチマークの大規模な実験は、DiSTが既存の最先端メソッドよりも優れたパフォーマンスを提供することを示す。
論文 参考訳（メタデータ） (2023-09-14T17:58:33Z) - TubeDETR: Spatio-Temporal Video Grounding with Transformers [89.71617065426146]
与えられたテキストクエリに対応するビデオにおいて、アテンポラルチューブをエンコーダでローカライズする問題について考察する。
この課題に対処するために,テキスト条件付きオブジェクト検出における近年の成功に触発された変換器アーキテクチャであるTubeDETRを提案する。
論文 参考訳（メタデータ） (2022-03-30T16:31:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。