論文の概要: CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

• arxiv url: http://arxiv.org/abs/2607.15004v1
• Date: Thu, 16 Jul 2026 13:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.128906
• Title: CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking
• Title（参考訳）: CosFly-VLA:UAV追跡のための空間認識型視覚言語行動モデル
• Abstract要約: VLA(Vision-Language-Action)ポリシーは、視覚的標的を効果的に追跡することができるが、建物、植生、道路沿いの物体が視線を塞ぐと、その性能は劣化することが多い。 本稿では,空間認識型VLAモデルCosFly-VLAについて述べる。 OpenVLAとは対照的に、CosFly-VLA-0.8Bはオープンループ平均変位誤差(ADE)を外見テストで34.1%、目に見えないテストで35.3%削減する。
• 参考スコア（独自算出の注目度）: 6.465600276213322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic target tracking is essential for Unmanned Aerial Vehicles (UAVs) operating in complex urban environments, where both the target and the camera viewpoint change continuously. Existing Vision-Language-Action (VLA) policies can track visible targets effectively, but their performance often degrades when buildings, vegetation, or roadside objects block the line of sight. During sustained occlusion, a policy may lose the target state, execute actions toward an incorrect region, and amplify this error through subsequent observations until re-acquisition becomes impossible. To this end, we present CosFly-VLA, a spatially aware VLA model that jointly grounds the target, estimates its visibility, and generates continuous flight actions through a structured prediction interface. To train this policy, we use a large-scale recipe over diverse data sources. Spatially Grounded Continued Pretraining (CPT) on a 500k mixed pool injects UAV-view depth, distance, and 3-D spatial reasoning. A three-stage Curriculum-based Supervised Fine-Tuning (SFT) process then specializes the tracker through multi-head warm-up followed by two-stage curriculum learning over natural and hard / long-occlusion data. Chain-of-Thought (CoT) training subsequently teaches recovery-oriented reasoning traces before structured answers. Finally, a closed-loop Reinforcement Learning (RL) stage optimizes tracking behavior with a multi-component reward covering stand-off tracking, grounding quality, collision avoidance, and task success. Relative to OpenVLA, CosFly-VLA-0.8B reduces open-loop Average Displacement Error (ADE) by 34.1% on seen-test and 35.3% on unseen-test. Closed-loop optimization improves Success Rate (SR) by 29.8% and 2.5%, respectively. These results demonstrate progress from visible-frame imitation toward spatially grounded action-closed-loop control, evaluated under a shared oracle state history.
• Abstract（参考訳）: 標的とカメラの両方の視点が連続的に変化する複雑な都市環境で運用される無人航空機(UAV)には、動的目標追跡が不可欠である。 既存のVLA(Vision-Language-Action)ポリシーは、視覚的標的を効果的に追跡することができるが、建物、植生、道路沿いの物体が視線を遮ると、その性能は劣化することが多い。 持続的な閉塞の間、ポリシーは目標状態を失い、不正な領域に対するアクションを実行し、再取得が不可能になるまで、その後の観察を通してこのエラーを増幅する。 この目的のためにCosFly-VLAを提案する。これは空間的に認識されたVLAモデルで、ターゲットを共同で接地し、その可視性を推定し、構造化された予測インターフェースを介して連続的な飛行行動を生成する。 このポリシーをトレーニングするために、さまざまなデータソースにまたがる大規模なレシピを使用します。 500k混合プール上の空間接地継続事前訓練(CPT)は、UAV視深度、距離、三次元空間推論を注入する。 3段階のカリキュラムベースのSupervised Fine-Tuning(SFT)プロセスでは、トラッカーをマルチヘッドウォームアップで特殊化し、その後に自然とハード/ロングオクルージョンのデータについて2段階のカリキュラムを学習する。 CoT(Chain-of-Thought)トレーニングはその後、構造化された回答の前にリカバリ指向の推論トレースを教える。 最後に、クローズドループ強化学習(RL)ステージは、スタンドオフトラッキング、グラウンド品質、衝突回避、タスク成功をカバーする多成分報酬を用いて、トラッキング動作を最適化する。 OpenVLAとは対照的に、CosFly-VLA-0.8Bはオープンループ平均変位誤差(ADE)を外見テストで34.1%、目に見えないテストで35.3%削減する。 クローズドループ最適化は成功率(SR)をそれぞれ29.8%と2.5%改善する。 これらの結果は,空間的に接地された動作閉ループ制御への可視フレーム模倣の進展を示す。

関連論文リスト

• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• RecoverFly: A Failure-Aware Reinforcement Learning Post-Training Framework for Aerial Vision-Language Navigation [16.942230083606674]
  無人航空機の視覚言語ナビゲーション(UAV-VLN)は、視覚的な観察と言語指示を信頼性のある飛行行動に変換するためにエージェントを必要とする。 エンドツーエンドのUAV-VLAポリシを対象とした,障害対応のRLポストトレーニングフレームワークであるRecoverFlyを提案する。
  論文  参考訳（メタデータ） (2026-08-10T11:37:46Z)
• VISTA: Vision-Grounded and Physics-Validated Adaptation of UMI data for VLA Training [52.05483137072975]
  Universal Manipulation Interface (UMI)は、ハードウェア固有の遠隔操作なしでスケーラブルな実世界のロボットデータ収集を可能にする。 VISTAは、この2つのギャップを3つの相乗的コンポーネントを通して橋渡しするフレームワークである。 我々は,物理検証パイプライン,UMI-VQA,検証された軌道データ,コミュニティのための事前学習モデルをリリースする。
  論文  参考訳（メタデータ） (2026-06-03T10:38:45Z)
• Pre-VLA: Preemptive Runtime Verification for Reliable Vision-Language-Action and World-Model Rollouts [18.44683570310399]
  低品質なアクションは、実行中に物理的な障害を引き起こしたり、冗長なレンダリングコストで世界モデルのロールアウトを誤解させるおそれがある。 実演や世界モデルの想像力の前にプリエンプティブ・アクションアセスメントの妥当性を示す統一型ランタイム検証アーキテクチャであるPre-VLAを提案する。
  論文  参考訳（メタデータ） (2026-05-21T13:13:31Z)
• Instance-level Visual Active Tracking with Occlusion-Aware Planning [61.982298426203165]
  Visual Active Tracking (VAT)は、カメラを3D空間でターゲットに追従することを目的としている。 VATは、視覚的に類似したイントラクタからの混乱と、閉塞下での深刻な障害という、現実世界のデプロイメントにおいて2つの重要なボトルネックに直面している。 3つの相補的なモジュールを持つ統一パイプラインであるOA-VATを提案する。
  論文  参考訳（メタデータ） (2026-04-23T09:11:50Z)
• Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures [14.313346858887286]
  自律走行のためのVLA(Vision-Language-Action)モデルは、強化学習(Reinforcement Learning、RL)最適化時にしばしばパフォーマンス高原に到達する。 この停滞は、以前のスーパービジョン・ファインチューニング(SFT)によって制約された探査能力から生じる。 構造化された診断フィードバックでRLを増強するフレームワークであるELF-VLA(Explicit Learning from Failures)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T11:41:22Z)
• Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
  本稿では, 自己補正VLA (SC-VLA) を提案する。 SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
  論文  参考訳（メタデータ） (2026-02-25T06:58:06Z)
• Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
  GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。 GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。 LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
  論文  参考訳（メタデータ） (2026-02-22T15:39:34Z)
• Eva-Tracker: ESDF-update-free, Visibility-aware Planning with Target Reacquisition for Robust Aerial Tracking [51.06229328990625]
  Eva-Trackerは、航空追跡のための可視性を考慮した軌道計画フレームワークである。 ESDF更新を排除し、リカバリ可能なパス生成メソッドを組み込んで、ターゲット再取得を行う。 提案手法は,従来の最先端手法よりも計算労力の少ないロバストな追跡結果を提供する。
  論文  参考訳（メタデータ） (2026-02-13T02:56:34Z)
• KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models [19.625631486595505]
  本稿では,知識に富んだ視覚言語フレームワークであるKEPTを紹介する。 連続するフロントビュー駆動フレームから直接エゴ軌道を予測する。 オープンループプロトコル間の最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-03T03:10:42Z)
• A Vision Based Deep Reinforcement Learning Algorithm for UAV Obstacle Avoidance [1.2693545159861856]
  UAV障害物回避のための探索を改善するための2つの技術を紹介します。 ひとつは収束に基づくアプローチで、探索されていない動作と時間しきい値を反復して探索と搾取のバランスをとる。 2つ目は、ガウス混合分布を用いて予測された次の状態と比較し、次のアクションを選択するためのガイダンスベースアプローチである。
  論文  参考訳（メタデータ） (2021-03-11T01:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。