論文の概要: TrackVLA: Embodied Visual Tracking in the Wild

• arxiv url: http://arxiv.org/abs/2505.23189v1
• Date: Thu, 29 May 2025 07:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.740085
• Title: TrackVLA: Embodied Visual Tracking in the Wild
• Title（参考訳）: TrackVLA:野生での身体的視覚追跡
• Authors: Shaoan Wang, Jiazhao Zhang, Minghan Li, Jiahang Liu, Anqi Li, Kui Wu, Fangwei Zhong, Junzhi Yu, Zhizheng Zhang, He Wang,
• Abstract要約: Embodied visual trackingは、Embodied AIの基本的なスキルであり、エージェントは、自我中心の視覚のみを使用して、動的環境における特定のターゲットに従うことができる。 既存のアプローチは通常、認識と計画のモジュラー分離を通じてこの問題に対処する。 本研究では,物体認識と軌道計画の相乗効果を学習する視覚・言語・行動モデルであるTrackVLAを提案する。
• 参考スコア（独自算出の注目度）: 34.03604806748204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied visual tracking is a fundamental skill in Embodied AI, enabling an agent to follow a specific target in dynamic environments using only egocentric vision. This task is inherently challenging as it requires both accurate target recognition and effective trajectory planning under conditions of severe occlusion and high scene dynamics. Existing approaches typically address this challenge through a modular separation of recognition and planning. In this work, we propose TrackVLA, a Vision-Language-Action (VLA) model that learns the synergy between object recognition and trajectory planning. Leveraging a shared LLM backbone, we employ a language modeling head for recognition and an anchor-based diffusion model for trajectory planning. To train TrackVLA, we construct an Embodied Visual Tracking Benchmark (EVT-Bench) and collect diverse difficulty levels of recognition samples, resulting in a dataset of 1.7 million samples. Through extensive experiments in both synthetic and real-world environments, TrackVLA demonstrates SOTA performance and strong generalizability. It significantly outperforms existing methods on public benchmarks in a zero-shot manner while remaining robust to high dynamics and occlusion in real-world scenarios at 10 FPS inference speed. Our project page is: https://pku-epic.github.io/TrackVLA-web.
• Abstract（参考訳）: Embodied visual trackingは、Embodied AIの基本的なスキルであり、エージェントは、自我中心の視覚のみを使用して、動的環境における特定のターゲットに従うことができる。 この課題は、厳密な閉塞と高シーンダイナミクスの条件下で、正確な目標認識と効果的な軌道計画の両方を必要とするため、本質的に困難である。 既存のアプローチは通常、認識と計画のモジュラー分離を通じてこの問題に対処する。 本研究では,物体認識と軌道計画の相乗効果を学習するビジョン・ランゲージ・アクション(VLA)モデルであるトラックVLAを提案する。 共有LLMバックボーンを利用することで、認識のための言語モデリングヘッドと、軌道計画のためのアンカーベース拡散モデルを用いる。 TrackVLAをトレーニングするために、Embodied Visual Tracking Benchmark (EVT-Bench)を構築し、様々な難易度な認識サンプルを収集し、170万のサンプルをデータセット化する。 合成環境と実世界の環境の両方における広範な実験を通じて、TrackVLAはSOTAの性能と強力な一般化可能性を示す。 10FPSの推論速度で現実のシナリオにおいて、高いダイナミクスと閉塞性を保ちながら、公的なベンチマークにおける既存のメソッドをゼロショットで大幅に上回っている。 私たちのプロジェクトページは以下のとおりです。

関連論文リスト

• Hierarchical Instruction-aware Embodied Visual Tracking [35.73851196966425]
  User-Centric Embodied Visual Tracking (UC-EVT)は、強化学習に基づくモデルにおいて、新しい課題を提示している。 我々は,テキスト空間目標を仲介として利用する命令理解と行動生成を橋渡しする,テキストbfインストラクションを意識した身体的視覚追跡(HIEVT)エージェントを提案する。
  論文  参考訳（メタデータ） (2025-05-27T04:36:26Z)
• Learning Occlusion-Robust Vision Transformers for Real-Time UAV Tracking [11.146155422858824]
  Vision Transformer (ViT) バックボーンを用いたシングルストリームアーキテクチャは、リアルタイムUAVトラッキングに大きな可能性を示している。 UAV追跡のためのViTに基づいて,Occlusion-Robust Representation (ORR) の学習を提案する。 また,よりコンパクトなトラッカーを作成するために,適応的特徴量に基づく知識蒸留法(AFKD)を提案する。
  論文  参考訳（メタデータ） (2025-04-12T14:06:50Z)
• TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies [95.30717188630432]
  VLAモデルの行動予測のための時空間認識を容易にするために,視覚的トレースプロンプトを導入する。 我々は,これまでに収集した150Kロボット操作トラジェクトリのデータセットに基づいてOpenVLAを微調整し,新しいTraceVLAモデルを開発した。 4B Phi-3-Vision に基づくコンパクトな VLA モデルを提案する。
  論文  参考訳（メタデータ） (2024-12-13T18:40:51Z)
• A Cross-Scene Benchmark for Open-World Drone Active Tracking [54.235808061746525]
  Drone Visual Active Trackingは、視覚的な観察に基づいてモーションシステムを制御することで、対象物を自律的に追跡することを目的としている。 DATと呼ばれるオープンワールドドローンアクティブトラッキングのためのクロスシーンクロスドメインベンチマークを提案する。 また、R-VATと呼ばれる強化学習に基づくドローン追跡手法を提案する。
  論文  参考訳（メタデータ） (2024-12-01T09:37:46Z)
• Beyond Visual Cues: Synchronously Exploring Target-Centric Semantics for Vision-Language Tracking [3.416427651955299]
  単一のオブジェクトトラッキングは、最初の状態から、ビデオシーケンス内の特定のターゲットを見つけることを目的としている。ビジョンランゲージ(VL)トラッキングは、有望なアプローチとして登場した。 本稿では,VL追跡のためのターゲット中心のセマンティクスを徐々に探求する新しいトラッカーを提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:28:12Z)
• Towards Unified Token Learning for Vision-Language Tracking [65.96561538356315]
  本稿では,VL追跡をトークン生成タスクとして用いた「textbfMMTrack」という,視覚言語(VL)追跡パイプラインを提案する。 提案フレームワークは,言語記述と境界ボックスを離散トークン列にシリアライズする。 この新しい設計パラダイムでは、全てのトークンクエリが望ましいターゲットを認識し、ターゲットの空間座標を直接予測するために必要となる。
  論文  参考訳（メタデータ） (2023-08-27T13:17:34Z)
• Robust Visual Object Tracking with Two-Stream Residual Convolutional Networks [62.836429958476735]
  視覚追跡のための2ストリーム残差畳み込みネットワーク(TS-RCN)を提案する。 私たちのTS-RCNは、既存のディープラーニングベースのビジュアルトラッカーと統合することができます。 トラッキング性能をさらに向上するため、我々はResNeXtを特徴抽出バックボーンとして採用する。
  論文  参考訳（メタデータ） (2020-05-13T19:05:42Z)
• Counterfactual Vision-and-Language Navigation via Adversarial Path Sampling [65.99956848461915]
  VLN(Vision-and-Language Navigation)は、エージェントが目標を達成するために3D環境を移動する方法を決定するタスクである。 VLNタスクの問題点の1つは、対話型環境において、人間に注釈を付けた指示で十分なナビゲーションパスを収集することは困難であるため、データの不足である。 本稿では,低品質な拡張データではなく,効果的な条件を考慮可能な,対向駆動の反実的推論モデルを提案する。
  論文  参考訳（メタデータ） (2019-11-17T18:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。