論文の概要: TempoGround: State-Aware Streaming Visual Grounding with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.02359v1
- Date: Wed, 02 Sep 2026 09:30:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.216863
- Title: TempoGround: State-Aware Streaming Visual Grounding with Vision-Language Models
- Title（参考訳）: TempoGround:ビジョンランゲージモデルによる状態認識型ビジュアルグラウンドのストリーミング
- Abstract要約: ビジュアルグラウンドティングは言語参照をターゲットにマッピングし、視覚言語モデルによるオープンボキャブラリ認識の中心となる。
我々は、フレーム間のオブジェクト対応を検出し、オブジェクトの存在状態を明示的にモデル化するVLMネイティブフレームワークであるTempoGroundを紹介する。
さらに、検証可能なグラウンド、アイデンティティ、一貫性の報酬でTempoGroundを最適化するStreaming Grounding Reinforcement (SGR)を紹介します。
- 参考スコア（独自算出の注目度）: 7.348671989582267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual grounding maps language referents to spatial targets and is central to open-vocabulary perception with vision-language models. Existing methods have made substantial progress on single-frame and video-based visual grounding, yet under streaming inputs they still suffer from identity drift, cross-frame inconsistency, and fragile localization under partial occlusion. To address these issues, we present TempoGround, a VLM-native framework that detects cross-frame object correspondence and explicitly models object presence states, thereby enabling accurate and consistent visual grounding under streaming inputs. The key is a curriculum prediction mechanism guided by state-aware cross-frame correspondence: TempoGround resolves 2D instance association, predicts whether each object newly enters, continues in, or leaves the view, decodes the 2D box, and then lifts it to a camera-frame 3D box. As token-level supervision alone cannot capture the geometric objectives of streaming grounding, we further introduce Streaming Grounding Reinforcement (SGR), which optimizes TempoGround with verifiable Grounding, Identity, and Consistency rewards, jointly reinforcing persistent localization and temporally consistent predictions. We carefully design a three-stage training strategy and train TempoGround on large-scale data. We evaluate visual grounding under causally streaming inputs on multiple challenging benchmarks: TempoGround improves F1_2D@0.5 and F1_2D@0.95 by 4.4 and 0.5 on average, and F1_3D@0.25 and AP_3D by 6.2 and 7.5, respectively. These results demonstrate that TempoGround provides a practical foundation for visual grounding under streaming inputs.
- Abstract（参考訳）: 視覚的グラウンドティングは、言語参照を空間的対象にマッピングし、視覚言語モデルによるオープン語彙認識の中心となる。
既存の手法は、シングルフレームとビデオベースの視覚的接地においてかなりの進歩を遂げているが、ストリーミング入力の下では、アイデンティティドリフト、クロスフレームの不整合、部分閉塞下での脆弱なローカライゼーションに悩まされている。
これらの問題に対処するため、TempoGroundは、フレーム間のオブジェクトの対応を検知し、オブジェクトの存在状態を明示的にモデル化し、ストリーミング入力下での正確な、一貫した視覚的グラウンドを可能にするVLMネイティブフレームワークである。
TempoGroundは2Dのインスタンスアソシエーションを解決し、各オブジェクトが新たに入ってくるか、入ってくるか、またはビューを離れるかを予測し、2Dボックスをデコードし、カメラフレームの3Dボックスに持ち上げる。
トークンレベルの監視だけでは、ストリーミンググラウンドの幾何学的目的を捉えることができないため、TempoGroundを検証可能なグラウンド、アイデンティティ、一貫性の報酬で最適化し、永続的なローカライゼーションと時間的に一貫した予測を共同で強化するStreaming Grounding Reinforcement (SGR)を導入する。
我々は3段階のトレーニング戦略を慎重に設計し、大規模なデータに基づいてTempoGroundを訓練する。
TempoGroundはF1_2D@0.5とF1_2D@0.95を平均4.4と0.5に改善し、F1_3D@0.25とAP_3Dをそれぞれ6.2と7.5に改善した。
これらの結果から,TempoGroundはストリーミング入力下での視覚的接地のための実用的な基盤を提供することが示された。
関連論文リスト
- Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos [17.190262848866396]
本稿では,Action Genomeの映像をフィードフォワード3D再構成により4DシーンにアップグレードするデータセットであるActionGenome4Dを紹介する。
次に、各タイムスタンプでワールドシーングラフを構築するタスクであるワールドシーングラフ生成(WSGG)を定式化する。
我々は3つの補完的手法を提案し、それぞれが観測されていない物体について推論するための異なる帰納バイアスを探索する。
論文 参考訳（メタデータ） (2026-03-13T17:18:03Z) - MiVID: Multi-Strategic Self-Supervision for Video Frame Interpolation using Diffusion Model [2.9795035162522194]
この記事では、ビデオレンダリングのための軽量で自己監督型の拡散ベースのフレームワークであるMiVIDを紹介する。
本モデルでは,3次元U-Netバックボーンとトランスフォーマスタイルの時間的注意を組み合わせることで,明示的な動き推定の必要性を解消する。
この結果から,MiVIDは50エポックしか得られず,教師付きベースラインと競合することがわかった。
論文 参考訳（メタデータ） (2025-11-08T14:10:04Z) - St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World [106.91539872943864]
St4RTrackは、RGB入力から世界座標フレーム内の動的ビデオコンテンツを同時に再構成し、追跡するフレームワークである。
静的および動的シーン幾何学の両方をキャプチャして、同じ世界において、同時に両方のポイントマップを予測する。
統合されたデータ駆動フレームワークの有効性と効率を実証し、世界フレームの再構築と追跡のための新しい広範囲なベンチマークを構築します。
論文 参考訳（メタデータ） (2025-04-17T17:55:58Z) - Tracktention: Leveraging Point Tracking to Attend Videos Faster and Better [61.381599921020175]
時間的一貫性は、出力が一貫性があり、アーティファクトがないことを保証するために、ビデオ予測において重要である。
時間的注意や3D畳み込みといった伝統的な手法は、重要な物体の動きに苦しむことがある。
本稿では,ポイントトラックを用いた動き情報を明示的に統合する新しいアーキテクチャコンポーネントであるトラックキート・レイヤを提案する。
論文 参考訳（メタデータ） (2025-03-25T17:58:48Z) - ST-VLM: Kinematic Instruction Tuning for Spatio-Temporal Reasoning in Vision-Language Models [63.12671761097701]
視覚言語モデル(Ms)は、移動距離や移動物体の速度などの要素を分析するのに苦労する。
我々はSTKitとST-Benchと呼ばれるベンチマークデータセットを構築した。
本稿では,ST-VLMが多様な領域やタスクにまたがって頑健に一般化されていることを示す。
論文 参考訳（メタデータ） (2025-03-25T05:08:06Z) - ReferDINO: Referring Video Object Segmentation with Visual Grounding Foundations [33.74746234704817]
ビデオオブジェクトセグメンテーション(RVOS)は、テキスト記述に基づいて、ビデオ全体を通してターゲットオブジェクトをセグメンテーションすることを目的としている。
これは、深い視覚レベルの理解、ピクセルレベルの高密度な予測、時間的推論を含むため、難しい。
基礎的な視覚基盤モデルから領域レベルの視覚テキストアライメントを継承するbfReferDINO RVOSを提案する。
論文 参考訳（メタデータ） (2025-01-24T16:24:15Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for
Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。
これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。
我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文 参考訳（メタデータ） (2022-03-06T13:57:09Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - A Graph Attention Spatio-temporal Convolutional Network for 3D Human
Pose Estimation in Video [7.647599484103065]
我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。
提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
論文 参考訳（メタデータ） (2020-03-11T14:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。