論文の概要: FalconTrack: Photorealistic Auto-Labeled Perception and Physics-Aware Vision-Based Aerial Tracking
- arxiv url: http://arxiv.org/abs/2606.29783v1
- Date: Mon, 29 Jun 2026 05:03:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.054899
- Title: FalconTrack: Photorealistic Auto-Labeled Perception and Physics-Aware Vision-Based Aerial Tracking
- Title（参考訳）: FalconTrack:光リアルな自動ラベル認識と物理認識による航空追跡
- Abstract要約: FalconTrackは、視覚ベースの空中追跡のための統合された知覚追跡フレームワークである。
ゼロショット sim-to-real 転送において、20分以内で10kのラベル付き画像を生成し、96-100%のクラス精度を実現している。
搭載システムは約25Hzで動作し、2つの環境にまたがる5つの軌跡において、実物F1-10thとゲートトラッキングにおいて100%の成功を達成している。
- 参考スコア（独自算出の注目度）: 5.430107038361476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-based aerial tracking is critical in GPS-denied environments. Reliable perception for tracking depends on large-scale labeled data, yet most photorealistic datasets rely on heavy manual annotation and are time-consuming to produce. We present FalconTrack, a unified perception-and-tracking framework that (i) leverages a photorealistic editable simulator for automated label generation and (ii) combines multi-head perception with physics-aware tracking for zero-shot sim-to-real transfer. FalconTrack provides an automated labeling pipeline in a Gaussian Splatting simulator that isolates target Gaussians from short object videos and composites them with randomized backgrounds to generate RGB, mask, class, and 6-DoF pose labels, producing about 10k labeled images in under 20 minutes. Using this dataset, we train a multi-head perception module with staged learning and reprojection consistency, and fuse its outputs with class-conditioned dynamics priors in an EKF for tracking. Our perception model outperforms two baselines and reaches 96-100% class accuracy in zero-shot sim-to-real transfer on three geometrically diverse objects and two environments, while maintaining consistent performance in unseen simulated and real scenes. In real hardware closed-loop visual tracking, the onboard system runs at about 25 Hz and achieves 100% success in sim-to-real F1-tenth and gate tracking in five trajectories across two environments, while a mask-centered vision baseline drops to 60% success on F1-tenth during fast out-of-view scenarios.
- Abstract（参考訳）: 視覚に基づく航空追跡は、GPSによる環境において重要である。
トラッキングに対する信頼性の高い認識は、大規模なラベル付きデータに依存するが、ほとんどのフォトリアリスティックデータセットは重い手動アノテーションに依存しており、生成に時間がかかる。
我々は、統合された知覚追跡フレームワークであるFalconTrackを紹介する。
i) 自動ラベル生成のためのフォトリアリスティック編集可能なシミュレータを利用する
(II) マルチヘッド認識と物理認識トラッキングを組み合わせることで, ゼロショット・シム・トゥ・リアル・トランスファーを実現する。
FalconTrackはGaussian Splattingシミュレータに自動ラベリングパイプラインを提供し、ターゲットのガウシアンを短いオブジェクトビデオから分離し、ランダムな背景を合成してRGB、マスク、クラス、および6-DoFのポーズラベルを生成し、20分以内に約10kのラベル付きイメージを生成する。
このデータセットを用いて、段階的学習と再計画整合性を備えたマルチヘッド認識モジュールを訓練し、その出力をEKFのクラス条件付き動的前処理と融合して追跡する。
我々の知覚モデルは2つのベースラインより優れており、3つの幾何学的に多様なオブジェクトと2つの環境上のゼロショット・シミュレートにおいて96-100%の精度を達成し、未知のシミュレートおよび実シーンにおける一貫した性能を維持している。
実際のハードウェアクローズドループのビジュアルトラッキングでは、オンボードシステムはおよそ25Hzで動作し、2つの環境にわたる5つの軌跡において、シミュレートされたF1-10thとゲートトラッキングで100%成功し、マスク中心のビジョンベースラインは、高速な外見シナリオでF1-10thで60%成功に落ちている。
関連論文リスト
- Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator [70.34667754804168]
Embodied Navigationは、マルチモーダルな目標を解釈し、3D空間を推論し、現実の世界で確実に目的地に到達するエージェントを構築することを目的としている。
本稿では,RGB-D画像シーケンスから高品質な対話環境を構築するリアルタイムニューラルネットワークフレームワークであるImage2Simを紹介する。
論文 参考訳（メタデータ） (2026-07-07T02:42:41Z) - GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning [55.272458304179025]
GS-Playgroundは、エンド・ツー・エンドの知覚学習を促進するために設計されたマルチモーダル・シミュレーション・フレームワークである。
このシステムは640x480の解像度で104 FPSのスループットを達成し、大規模な視覚的RLの障壁を著しく低減する。
論文 参考訳（メタデータ） (2026-04-28T10:05:39Z) - Learning to Track Any Points from Human Motion [55.831218129679144]
点追跡のための擬似ラベル付きトレーニングデータを生成する自動パイプラインを提案する。
AnthroTAPでトレーニングされた点追跡モデルは、TAP-Vidベンチマークで注釈付き最先端性能を達成する。
論文 参考訳（メタデータ） (2025-07-08T17:59:58Z) - FalconWing: An Ultra-Light Indoor Fixed-Wing UAV Platform for Vision-Based Autonomy [3.7383337849330336]
FalconWingは、超軽量(150g)の屋内固定翼UAVプラットフォームで、視覚ベースの自律性を実現する。
FalconWingは軽量のハードウェアスタック(9gカメラを搭載した137gの機体)と、ビジョンベースのコントローラーの開発と評価のための3Dガウススプラット(GSplat)シミュレーターを備えたソフトウェアスタックを結合している。
ハードウェアデザイン、GSplatのシーン、ダイナミックスモデルを公開して、FalconWingをエンジニアリングの学生や研究室のためのオープンソースのフライトキットにする。
論文 参考訳（メタデータ） (2025-05-02T16:47:05Z) - HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving [48.84595398410479]
HUGSIMは、自律運転アルゴリズムを評価するためのクローズドループ、フォトリアリスティック、リアルタイムシミュレータである。
我々は、視点外挿や360度車両レンダリングを含む閉ループシナリオにおける新しいビュー合成の課題に取り組む。
HUGSIMは、KITTI-360、nuScenes、PandaSetから70以上のシーケンスにまたがる包括的なベンチマークと400以上のさまざまなシナリオを提供する。
論文 参考訳（メタデータ） (2024-12-02T17:07:59Z) - Open-World Drone Active Tracking with Goal-Centered Rewards [62.21394499788672]
Drone Visual Active Trackingは、視覚的な観察に基づいてモーションシステムを制御することで、対象物を自律的に追跡することを目的としている。
DATは,世界初となるエア・ツー・グラウンド・トラッキング・ベンチマークである。
また,複雑なシナリオにおけるドローン追跡目標の性能向上を目的としたGC-VATを提案する。
論文 参考訳（メタデータ） (2024-12-01T09:37:46Z) - An Effective Motion-Centric Paradigm for 3D Single Object Tracking in
Point Clouds [50.19288542498838]
LiDARポイントクラウド(LiDAR SOT)における3Dシングルオブジェクトトラッキングは、自動運転において重要な役割を果たす。
現在のアプローチはすべて、外観マッチングに基づくシームズパラダイムに従っている。
我々は新たな視点からLiDAR SOTを扱うための動き中心のパラダイムを導入する。
論文 参考訳（メタデータ） (2023-03-21T17:28:44Z) - RARA: Zero-shot Sim2Real Visual Navigation with Following Foreground
Cues [42.998649025215045]
我々は、カメラベースのナビゲーションの特定のケースに取り組み、任意の背景を持つ前景の視覚的キューに従うように定式化する。
目標は、この前景のキューを除いて、空のシミュレーション環境でキャプチャされたデータに視覚エージェントを訓練し、視覚的に多様な現実世界で直接このモデルをテストすることである。
論文 参考訳（メタデータ） (2022-01-08T09:53:21Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳（メタデータ） (2021-04-30T15:30:05Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z) - SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving [27.948417322786575]
本稿では,現実的なシナリオセンサデータを生成するための,シンプルで効果的な手法を提案する。
われわれのアプローチでは、テクスチャマップされたサーフを使用して、初期車両のパスやセットのパスからシーンを効率的に再構築する。
次に、SurfelGANネットワークを利用して、現実的なカメライメージを再構築し、自動運転車の新たな位置と方向を推定する。
論文 参考訳（メタデータ） (2020-05-08T04:01:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。