論文の概要: ReferTrack: Referring Then Tracking for Embodied Visual Tracking
- arxiv url: http://arxiv.org/abs/2607.20061v1
- Date: Wed, 22 Jul 2026 12:05:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.070939
- Title: ReferTrack: Referring Then Tracking for Embodied Visual Tracking
- Title（参考訳）: ReferTrack: 身体的視線追跡のためのレファリング
- Abstract要約: Embodied visual tracking (EVT) は、自然言語で記述された特定のターゲットを連続的に追従する移動体エージェントを必要とする。
ReferTrackは、1台の前方カメラでEVTをグラウンド化する参照then追跡パラダイムである。
このモデルでは、まずインデックス付き境界ボックスからターゲットを選択し、次に、この画像グラウンド決定で条件付けられた追跡経路をデコードする。
- 参考スコア（独自算出の注目度）: 13.368122578638847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied visual tracking (EVT) requires a mobile agent to continuously follow a specific target described in natural language using only onboard vision. While recent vision-language-action (VLA) policies unify target identification and trajectory planning, their chain-of-thought (CoT) reasoning often operates in abstract spatial latents that are difficult to supervise and weakly aligned with explicit image-space detections. To address this, we introduce ReferTrack, a referring-then-tracking paradigm that grounds EVT using a single forward-facing camera. Our model first selects the target from an indexed set of bounding boxes, then decodes tracking waypoints conditioned on this image-grounded decision. To preserve target motion cues over time, ReferTrack maintains a sliding-window queue of previously selected bounding boxes, injecting their geometric features into the visual history via temporal-viewpoint-bbox indicator (TVBI) tokens. We further enhance target identification by co-training on a custom Refer-QA dataset. On EVT-Bench, ReferTrack achieves state-of-the-art single-view performance with success rates of 89.4%, 73.3%, and 74.1% on the single-target, distracted, and ambiguity tracking splits, respectively -- matching or even surpassing several multi-camera baselines on identification-heavy tasks. Finally, real-world deployments on legged and humanoid robots validate its robust sim-to-real transfer capabilities. Code is available at https://github.com/MedlarTea/referTrack.
- Abstract（参考訳）: Embodied visual tracking (EVT) は、移動体エージェントが車載視覚のみを使用して自然言語で記述された特定のターゲットを継続的に追跡する必要がある。
近年の視覚言語行動(VLA)政策は対象の識別と軌道計画を統一するが、そのチェーン・オブ・シンプソント(CoT)推論は、観察が困難で画像空間の検出に弱く整合する抽象空間潜伏においてしばしば機能する。
この問題に対処するために,1台の前方カメラを用いたEVTを基盤とした参照then追跡パラダイムであるReferTrackを紹介した。
このモデルでは、まずインデックス付き境界ボックスからターゲットを選択し、次に、この画像グラウンド決定で条件付けられた追跡経路をデコードする。
ReferTrackは、時間とともに目標運動キューを保存するために、以前選択されたバウンディングボックスのスライディングウィンドウキューを保持し、時間的ビューポイントボックスインジケータ(TVBI)トークンを介して、その幾何学的特徴を視覚史に注入する。
さらに、カスタムRefer-QAデータセットで協調トレーニングを行うことで、ターゲット識別をさらに強化する。
EVT-Benchでは、ReferTrackは89.4%、73.3%、74.1%という最先端のシングルビューのパフォーマンスを達成した。
最後に、足とヒューマノイドロボットの現実世界での展開は、その堅牢なsim-to-real転送能力を検証する。
コードはhttps://github.com/MedlarTea/referTrack.comで入手できる。
関連論文リスト
- USS: Unified Spatial-Semantic Prompts for Embodied Visual Tracking with Latent Dynamics Learning [18.003030497082623]
Embodied Visual Tracking (EVT)では、エージェントが動的環境を積極的に移動しながら、指定されたターゲットを継続的に追跡する必要がある。
本稿では,EVTにおける目標指示をテキストのみの仕様から統一的な空間意味的プロンプトへと緩和するパラダイムシフトを提案する。
潜時ダイナミクス学習を用いた身体的視覚追跡のための統一空間意味プロンプトを提案する。
論文 参考訳（メタデータ） (2026-06-24T14:25:05Z) - QTrack: Query-Driven Reasoning for Multi-modal MOT [1.9981885081131854]
マルチオブジェクトトラッキング(MOT)は、伝統的に、ユーザーが特定したターゲットを選択的に推論することなく、ビデオ内のすべてのオブジェクトを推定することに重点を置いてきた。
本稿では,自然言語クエリに規定された時間的推論問題としてトラッキングを定式化する,クエリ駆動型トラッキングパラダイムを提案する。
本稿では、マルチモーダル推論とトラッキング指向のローカライゼーションを統合した、エンドツーエンドの視覚言語モデルQTrackを提案する。
論文 参考訳（メタデータ） (2026-03-14T05:11:36Z) - Walker: Self-supervised Multiple Object Tracking by Walking on Temporal Appearance Graphs [117.67620297750685]
これは、疎結合なボックスアノテーションとトラッキングラベルのないビデオから学習する、初めてのセルフ教師付きトラッカーである。
Walker氏はMOT17、DanceTrack、BDD100Kで競争力を発揮する最初のセルフトラッカーである。
論文 参考訳（メタデータ） (2024-09-25T18:00:00Z) - STCMOT: Spatio-Temporal Cohesion Learning for UAV-Based Multiple Object Tracking [13.269416985959404]
無人航空機(UAV)ビデオにおける複数物体追跡(MOT)は、コンピュータビジョンにおける多様な用途において重要である。
時空間結合型多目的追跡フレームワーク(STCMOT)を提案する。
歴史的埋め込み機能を用いて,ReIDの表現と検出機能を逐次的にモデル化する。
我々のフレームワークはMOTAとIDF1メトリクスで新しい最先端のパフォーマンスを設定します。
論文 参考訳（メタデータ） (2024-09-17T14:34:18Z) - BEVTrack: A Simple and Strong Baseline for 3D Single Object Tracking in Bird's-Eye View [54.48052449493636]
3Dシングルオブジェクトトラッキング(SOT)はコンピュータビジョンの基本課題であり、自律運転のようなアプリケーションにおいて重要な役割を果たす。
BEVTrackは、シンプルだが効果的な動きに基づくトラッキング手法である。
我々は,BEVTrackが200FPSで動作しながら最先端の結果を達成し,リアルタイム適用性を実現していることを示す。
論文 参考訳（メタデータ） (2023-09-05T12:42:26Z) - OmniTracker: Unifying Object Tracking by Tracking-with-Detection [119.51012668709502]
OmniTrackerは、完全に共有されたネットワークアーキテクチャ、モデルウェイト、推論パイプラインですべてのトラッキングタスクを解決するために提供されている。
LaSOT、TrackingNet、DAVIS16-17、MOT17、MOTS20、YTVIS19を含む7つの追跡データセットの実験は、OmniTrackerがタスク固有の追跡モデルと統合された追跡モデルの両方よりも、オンパーまたはそれ以上の結果を達成することを示した。
論文 参考訳（メタデータ） (2023-03-21T17:59:57Z) - DIVOTrack: A Novel Dataset and Baseline Method for Cross-View
Multi-Object Tracking in DIVerse Open Scenes [74.64897845999677]
歩行者が密集したDIVerse Openのシーンを対象とした,新しいクロスビュー多目的追跡データセットを提案する。
私たちのDIVOTrackには15の異なるシナリオと953のクロスビュートラックがあります。
さらに,クロスモット(CrossMOT)という統合型共同検出・クロスビュートラッキングフレームワークを用いた新しいベースラインクロスビュートラッキング手法を提案する。
論文 参考訳（メタデータ） (2023-02-15T14:10:42Z) - Learning Dynamic Compact Memory Embedding for Deformable Visual Object
Tracking [82.34356879078955]
本稿では,セグメント化に基づく変形可能な視覚追跡手法の識別を強化するために,コンパクトなメモリ埋め込みを提案する。
DAVIS 2017ベンチマークでは,D3SやSiamMaskなどのセグメンテーションベースのトラッカーよりも優れている。
論文 参考訳（メタデータ） (2021-11-23T03:07:12Z) - Learning to Track with Object Permanence [61.36492084090744]
共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。
私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
論文 参考訳（メタデータ） (2021-03-26T04:43:04Z) - TDIOT: Target-driven Inference for Deep Video Object Tracking [0.2457872341625575]
本研究では,事前訓練したMask R-CNNディープオブジェクト検出器をベースラインとして採用する。
本研究では,Mask R-CNNのFPN-ResNet101バックボーン上に新しい推論アーキテクチャを導入し,検出と追跡を共同で行う。
提案する単一オブジェクトトラッカであるtdiotは、データアソシエーションに外観類似性に基づく時間マッチングを適用する。
論文 参考訳（メタデータ） (2021-03-19T20:45:06Z) - Learning Spatio-Appearance Memory Network for High-Performance Visual
Tracking [79.80401607146987]
既存のオブジェクトトラッキングは通常、フレーム間の視覚的ターゲットにマッチするバウンディングボックスベースのテンプレートを学習する。
本稿では,局所時間メモリネットワークを備え,正確な時空間対応を学習するセグメンテーションに基づくトラッキングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-09-21T08:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。