論文の概要: Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

• arxiv url: http://arxiv.org/abs/2606.29023v1
• Date: Sat, 27 Jun 2026 17:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.761376
• Title: Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification
• Title（参考訳）: 2レベル追跡とRL検証による多モード大モデルを用いた高効率時空間接地
• Abstract要約: 長いビデオの時間的接地には、正確な時間的局所化と、自然言語クエリで条件付けられた頑健なオブジェクト追跡が必要である。 本稿では,フレームレベルから第2レベルのトラッキングへ移行し,シーケンス長を低減しつつ連続性を保ちながら秒間アノテーションを実行する実用的なパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 11.171207895220578
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatio-temporal grounding in long videos requires precise temporal localization and robust object tracking conditioned on natural-language queries. While recent vision-language models (VLMs) show strong reasoning ability, directly applying frame-by-frame inference to long sequences is computationally expensive and unstable. We propose a practical pipeline that shifts from frame-level to second-level tracking and performs cross-second smoothing to preserve continuity while reducing sequence length. To improve reasoning supervision, we synthesize chain-of-thought style trajectories using advanced multimodal models for temporal localization and target selection, and replace generated spatio-temporal coordinates with ground-truth annotations to avoid noisy supervision. We further optimize the policy with reinforcement learning using a verifier based on $t\_\mathrm{IoU}+mv\_\mathrm{IoU}$. Experiments across multiple FPS settings show that our method achieves a strong trade-off between efficiency and localization quality.
• Abstract（参考訳）: 長いビデオの時空間的接地には、正確な時間的局所化と、自然言語クエリで条件付けられた頑健なオブジェクト追跡が必要である。 近年の視覚言語モデル(VLM)は強い推論能力を示すが、フレーム・バイ・フレームの推論を直接長周期に適用することは計算コストが高く不安定である。 本稿では,フレームレベルから第2レベルのトラッキングへ移行し,連続性を保ちながら連続性を保ちつつ,クロス秒スムース化を行う実用的なパイプラインを提案する。 そこで我々は,時間的局所化とターゲット選択のための高度なマルチモーダルモデルを用いて,チェーン・オブ・シントスタイルのトラジェクトリを合成し,生成した時空間座標をグラウンド・トゥルースアノテーションに置き換え,ノイズを回避した。 さらに、$t\_\mathrm{IoU}+mv\_\mathrm{IoU}$に基づいた検証器を用いて、強化学習によるポリシーを最適化する。 複数のFPS設定に対する実験により,本手法は効率と局所化品質の強いトレードオフを実現することが示された。

関連論文リスト

• Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding [80.10744910189997]
  マルチモーダルな言語モデルは通常、トラジェクトリを自動回帰的にシリアライズする。 時間ブロックにグラウンドを分解する生成式であるParallel Tube Decoding (PTD)を導入する。 VidSTGでは、PTDチューブはコンプリートを79倍に減らし、空間デコーディングを92倍に向上させる。
  論文  参考訳（メタデータ） (2026-08-28T11:05:30Z)
• ScanFocus: A Coarse-to-Fine Framework for Spatio-Temporal Video Grounding [23.883675818190188]
  S-Temporal Video Groundingは、自然言語表現によって記述されたビデオストリームから、特定のオブジェクトの視覚的軌跡を検索することを目的としている。 ほとんどの高度な手法は、グローバルコンテキストモデリングと正確な境界ローカライゼーションのバランスをとるのに苦労している。 本稿では,STVGタスクをグローバル時空間スキャンと局所境界焦点に分解する,粗大きめのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-15T03:50:22Z)
• UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models [54.564740558030245]
  UCMは、長期記憶と正確なカメラ制御をタイムアウェアな位置符号化変換機構を介して統合する新しいフレームワークである。 我々はまた、ポイントクラウドベースのレンダリングを利用したスケーラブルなデータキュレーション戦略を導入し、シーンの再考をシミュレートする。
  論文  参考訳（メタデータ） (2026-02-26T12:54:46Z)
• Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
  時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。 本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。 具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。 人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2026-02-10T10:16:27Z)
• Exploring Reliable Spatiotemporal Dependencies for Efficient Visual Tracking [9.64398631601942]
  STDTrackは、信頼性のある時間的依存関係を軽量トラッカーに統合する先駆的なフレームワークである。 本稿では,時間的プロパゲートトークンを導入し,フレーム単位の特徴抽出をガイドする。 異なるサイズのオブジェクトに動的に適応するマルチスケール予測ヘッドを開発した。
  論文  参考訳（メタデータ） (2026-01-14T02:22:05Z)
• Multi-modal Deepfake Detection and Localization with FPN-Transformer [21.022230340898556]
  FPN変換器(Feature Pyramid-Transformer)に基づくマルチモーダルディープフェイク検出およびローカライゼーションフレームワークを提案する。 マルチスケールな特徴ピラミッドは、R-TLMブロックと局所的な注意機構によって構築され、コンテキスト間の時間的依存関係の結合解析を可能にする。 我々は,IJCAI'25 DDL-AVベンチマークの試験セットに対するアプローチを評価し,最終スコア0.7535で良好な性能を示した。
  論文  参考訳（メタデータ） (2025-11-11T09:33:39Z)
• Towards Robust and Generalizable Continuous Space-Time Video Super-Resolution with Events [71.2439653098351]
  連続時空ビデオスーパーSTVSRは、高解像度で高フレームのビデオを任意の時間スケールで再構成する能力への関心が高まっている。 EvEnhancerは、イベントストリームにカプセル化された高時間および高ダイナミックレンジのユニークな特性を結合する新しいアプローチである。 提案手法は,OODスケールでの一般化性を維持しつつ,合成および実世界の両方のデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-10-04T15:23:07Z)
• PatchTraj: Unified Time-Frequency Representation Learning via Dynamic Patches for Trajectory Prediction [14.48846131633279]
  軌道予測のための時間周波数ジョイントモデリングを統合した動的パッチベースのフレームワークを提案する。 具体的には、軌道を生の時間列と周波数成分に分解し、動的パッチ分割を用いてマルチスケールセグメンテーションを行う。 その結果、拡張された埋め込みは強力な表現力を示し、バニラアーキテクチャを使用した場合でも正確な予測を可能にする。
  論文  参考訳（メタデータ） (2025-07-25T09:55:33Z)
• FDDet: Frequency-Decoupling for Boundary Refinement in Temporal Action Detection [4.015022008487465]
  大規模な事前訓練されたビデオエンコーダは、背景の乱雑さと無関係なセマンティクスを導入し、コンテキストの混乱と境界に繋がる。 本稿では,事前学習したモデルから得られた雑音のセマンティクスをフィルタリングすることで,行動識別性を向上させる周波数対応デカップリングネットワークを提案する。 本手法は時間的行動検出ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-01T10:57:37Z)
• SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
  SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。 SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。 強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:57Z)
• Exploiting Multimodal Spatial-temporal Patterns for Video Object Tracking [53.33637391723555]
  本研究では,STTrack というマルチモーダル空間時間追跡手法を提案する。 従来のパラダイムとは対照的に,マルチモーダル時間情報を含むトークン列を連続的に生成する時間状態生成器(TSG)を導入している。 これらの時間情報トークンは、次の時刻におけるターゲットの局所化を誘導し、ビデオフレーム間の長距離コンテキスト関係を確立し、ターゲットの時間軌道を捕捉するために使用される。
  論文  参考訳（メタデータ） (2024-12-20T09:10:17Z)
• Multi-step Temporal Modeling for UAV Tracking [14.687636301587045]
  MT-Track(MT-Track)は,UAV追跡の効率化を目的とした,効率的な多段階時間モデリングフレームワークである。 我々はテンプレートと検索領域の特徴間の相互作用を動的に評価するユニークな時間相関モジュールを公表する。 トラッキングシーケンスにおける時間的知識をモデル化することにより,過去のフレームと現在のフレームの相関マップを洗練するための相互変換モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-07T09:48:13Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。