論文の概要: VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision

• arxiv url: http://arxiv.org/abs/2606.18426v1
• Date: Tue, 16 Jun 2026 19:21:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:50.866951
• Title: VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision
• Title（参考訳）: VEGA:Geometric Trajectory SupervisionによるWild Egocentric VideoからのナビゲーションVLAの学習
• Authors: Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha,
• Abstract要約: VEGAは、ラベルのないエゴセントリックなナビゲーションビデオから、ナビゲーションナビゲーションのVLA(VisionLanguage-Action)モデルをトレーニングするためのアプローチである。 VEGAはこのギャップをモノクロビデオから局所的なシーン形状を再構築することで解決する。 VEGA-Benchは250万のシーンと約500万のナビゲーション目標とシーン幾何学を組み合わせたベンチマークである。
• 参考スコア（独自算出の注目度）: 46.607430047068085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce VEGA, an approach for training navigation VisionLanguage-Action (VLA) models from unlabeled egocentric navigation videos. Internet-scale egocentric videos provide a scalable source of navigation-relevant visual observations, capturing cluttered scenes, close-range obstacles, and natural human motion through real-world spaces. However, these videos are not directly usable for policy learning because they do not provide obstacle-aware trajectories conditioned on explicit navigation goals in the robot's coordinate frame. VEGA addresses this gap by reconstructing local scene geometry from monocular video, sampling navigation goals (represented as text, image, or spatial waypoints) and generating obstacle-aware trajectories using the constructed geometry. The resulting trajectory distribution is then used to train a flow-matching VLA navigation policy. By using geometry exclusively during training, VEGA distills obstacle-aware planning directly into a vision-based policy. Furthermore, we introduce VEGA-Bench, a benchmark containing 250k scenes and approximately 5 million navigation goals paired with scene geometry, designed to evaluate goal progress, collision avoidance, and obstacle clearance of VLAs. Our evaluation shows that VEGA achieves competitive goal progress while reducing collisions by 33.0% and improving obstacle clearance by 17.9% over the strongest baseline on VEGABench, while improving success by at least 150.0%, reducing collisions by at least 66.7%, and improving obstacle clearance by at least 60.0% in real-world trials. Ultimately, we demonstrate that video-derived geometric supervision provides a scalable and effective signal for training obstacle-aware navigation VLAs. The code and benchmark will be released at the time of publication.
• Abstract（参考訳）: VEGAは、ラベルのないエゴセントリックなナビゲーションビデオから、ナビゲーションナビゲーションのVLA(VisionLanguage-Action)モデルをトレーニングするためのアプローチである。 インターネットスケールのエゴセントリックなビデオは、ナビゲーションに関連する視覚的観察のスケーラブルなソースを提供し、散らかったシーン、近距離障害物、そして現実世界の空間を通しての人間の自然な動きをキャプチャする。 しかし、これらのビデオは、ロボットの座標フレーム内の明確なナビゲーション目標に規定された障害物対応の軌跡を提供しないため、ポリシー学習に直接使用できない。 VEGAはこのギャップに対処するため、単眼ビデオから局所的なシーン形状を再構築し、ナビゲーション目標(テキスト、画像、空間的経路として表現される)をサンプリングし、構築された幾何学を用いて障害物認識軌道を生成する。 結果として得られる軌道分布は、フローマッチングVLAナビゲーションポリシーのトレーニングに使用される。 VEGAは、トレーニング中にのみ幾何学を用いることで、障害物認識計画を直接視覚ベースのポリシーに蒸留する。 さらに,250万のシーンと約500万のナビゲーション目標とシーン幾何学を組み合わせたベンチマークVEGA-Benchを導入し,VLAの目標進捗,衝突回避,障害物クリアランスを評価する。 VEGABenchは,衝突を33.0%減らし,障害物クリアランスを17.9%改善しつつ,少なくとも150.0%向上し,衝突を66.7%減らし,障害物クリアランスを60.0%改善した。 最終的に、ビデオ由来の幾何学的監督が、障害物認識ナビゲーションVLAを訓練するためのスケーラブルで効果的な信号を提供することを示した。 コードとベンチマークは公開時にリリースされる予定だ。

関連論文リスト

• VLGA: Vision-Language-Geometry-Action Models for Autonomous Driving [6.130994037021129]
  ヴィジュアル・ランゲージ・アクション・モデルは、それらのシーンを言語で表現できるが、周囲の密集した3Dの世界において、彼らのアクションを根ざすのに苦労する。 VLGAは、運転する高密度な3D世界を再構築するために教師される最初の視覚-言語-アクションモデルである。
  論文  参考訳（メタデータ） (2026-06-10T17:57:06Z)
• Instance-level Visual Active Tracking with Occlusion-Aware Planning [61.982298426203165]
  Visual Active Tracking (VAT)は、カメラを3D空間でターゲットに追従することを目的としている。 VATは、視覚的に類似したイントラクタからの混乱と、閉塞下での深刻な障害という、現実世界のデプロイメントにおいて2つの重要なボトルネックに直面している。 3つの相補的なモジュールを持つ統一パイプラインであるOA-VATを提案する。
  論文  参考訳（メタデータ） (2026-04-23T09:11:50Z)
• NOVA: Navigation via Object-Centric Visual Autonomy for High-Speed Target Tracking in Unstructured GPS-Denied Environments [56.35569661650558]
  我々はNOVAというオブジェクト中心のフレームワークを導入し、ロバストな目標追跡と衝突認識ナビゲーションを可能にした。 グローバルマップを構築するのではなく、NOVAはターゲットの参照フレーム内での知覚、推定、制御を定式化する。 我々は,都市迷路や森林の小道,間欠的なGPS損失を伴う建物内の繰り返し遷移など,現実の挑戦的なシナリオにまたがってNOVAを検証する。
  論文  参考訳（メタデータ） (2025-06-23T14:28:30Z)
• Open-World Drone Active Tracking with Goal-Centered Rewards [62.21394499788672]
  Drone Visual Active Trackingは、視覚的な観察に基づいてモーションシステムを制御することで、対象物を自律的に追跡することを目的としている。 DATは,世界初となるエア・ツー・グラウンド・トラッキング・ベンチマークである。 また,複雑なシナリオにおけるドローン追跡目標の性能向上を目的としたGC-VATを提案する。
  論文  参考訳（メタデータ） (2024-12-01T09:37:46Z)
• Angle Robustness Unmanned Aerial Vehicle Navigation in GNSS-Denied Scenarios [66.05091704671503]
  本稿では、ポイントツーポイントナビゲーションタスクにおける飛行偏差に対処する新しい角度ナビゲーションパラダイムを提案する。 また、Adaptive Feature Enhance Module、Cross-knowledge Attention-guided Module、Robust Task-oriented Head Moduleを含むモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-04T08:41:20Z)
• Last-Mile Embodied Visual Navigation [31.622495628224403]
  本稿では,画像ゴールナビゲーションシステムの性能向上を目的としたSlingを提案する。 我々は、ラストマイルナビゲーションに焦点をあて、ニューラルディスクリプタ問題の基礎となる幾何学的構造を活用する。 標準化された画像ゴールナビゲーションベンチマークでは、ポリシー、シーン、エピソードの複雑さにまたがるパフォーマンスを改善し、最先端の45%から55%の成功率に引き上げる。
  論文  参考訳（メタデータ） (2022-11-21T18:59:58Z)
• Unsupervised Visual Odometry and Action Integration for PointGoal Navigation in Indoor Environment [14.363948775085534]
  屋内環境におけるポイントゴールナビゲーションは、個人ロボットが特定の地点に向かうための基本的なタスクである。 GPS信号を使わずにPointGoalナビゲーションの精度を向上させるために、ビジュアル・オドメトリー(VO)を用い、教師なしで訓練された新しいアクション統合モジュール(AIM)を提案する。 実験により,提案システムは良好な結果が得られ,Gibsonデータセット上で部分的に教師付き学習アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-10-02T03:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。