論文の概要: OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation
- arxiv url: http://arxiv.org/abs/2610.39287v1
- Date: Thu, 29 Oct 2026 03:35:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.419426
- Title: OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation
- Title（参考訳）: OpenFlyV2:空中認識とナビゲーションのための視覚-言語-アクションモデル
- Abstract要約: セマンティック理解,言語基底認識,空間推論,連続的空中制御を一つのモデルでサポートする,統合された視覚-言語-アクションアーキテクチャであるOpenFlyV2を提案する。
約7万のナビゲーショントラジェクトリと6万の視覚言語命令-応答ペアからなるシミュレーションベースデータセットを構築した。
OpenFlyV2は、NVIDIA Jetson Orin NXを使用して、12のウェイポイントからなるアクションチャンクを生成する。
- 参考スコア（独自算出の注目度）: 48.733518548052295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human cognition flexibly draws on a shared perceptual foundation to understand environments, attend to referenced entities, reason about spatial relationships, and act. Endowing aerial robots with an analogous functional organization remains challenging, as existing systems are often specialized for individual capabilities, dependent on offboard computation, or unable to sustain closed-loop operation on resource-constrained platforms. We present OpenFlyV2, a unified onboard vision-language-action architecture that uses a shared vision-language representation to support semantic understanding, language-grounded perception, spatial reasoning, and continuous aerial control within a single model. A compact action expert converts the shared multimodal context into short-horizon flight waypoints, while motion-aware temporal memory and action priors reduce the computational cost of closed-loop execution. We construct \dataset{}, a simulation-based dataset comprising approximately 70,000 navigation trajectories and 60,000 vision-language instruction--response pairs. OpenFlyV2 generates action chunks, each comprising 12 waypoints, entirely onboard at 10 Hz using an NVIDIA Jetson Orin NX. It transfers zero-shot from simulation to physical quadrotor flight, achieving a 48\% navigation success rate across four real-world environments without real-world aerial training data. Extensive results demonstrate that broad vision-language competence and continuous closed-loop flight can coexist within a single model on a resource-constrained aerial platform. Code will be made publicly available at https://github.com/Ideal-ljl/AeroBrain.
- Abstract（参考訳）: 人間の認知は、環境を理解し、参照された実体に参画し、空間的関係を推論し、行動するために、共有された知覚基盤を柔軟に引き出す。
既存のシステムは個々の能力に特化しており、オフボード計算に依存したり、リソース制約されたプラットフォーム上でクローズドループ操作を維持できなかったりしている。
このアーキテクチャは,意味理解,言語基底認識,空間的推論,連続的空中制御をひとつのモデルでサポートする。
コンパクトアクションエキスパートは、共有マルチモーダルコンテキストを短水平飛行経路ポイントに変換し、モーション対応の時間記憶とアクション先行はクローズドループ実行の計算コストを低減させる。
約7万のナビゲーショントラジェクトリと6万の視覚言語命令-応答対からなるシミュレーションベースのデータセットである \dataset{} を構築した。
OpenFlyV2は、NVIDIA Jetson Orin NXを使用して、12のウェイポイントからなるアクションチャンクを生成する。
シミュレーションから物理四極子飛行へゼロショットを転送し、4つの実世界の環境において、実世界の航空訓練データなしで48倍の航法成功率を達成する。
広範囲な視覚言語能力と連続閉ループ飛行は、資源制約された航空プラットフォーム上で単一のモデル内で共存可能であることを示す。
コードはhttps://github.com/Ideal-ljl/AeroBrain.comで公開される。
関連論文リスト
- Sim-to-Real Transfer of Vision-Language Navigation in Continuous Environments Using an Ackermann-Steered Mobile Robot [0.6773121102591492]
Vision-Language Navigation (VLN)は、ロボットが自然言語命令を使って環境をナビゲートすることを可能にする。
従来のVLNモデルは、ナビゲーショングラフ、360度ビュー、完全なローカライゼーションに依存していることが多い。
この研究は、VLNアプローチのシミュレーションから実際のドメインシフトを実行することで、これらの制限に対処する。
論文 参考訳（メタデータ） (2026-10-05T18:09:22Z) - FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation [18.092834753587454]
FlowPilotは、UAVナビゲーションを深度からリアルタイムに行うための、コンパクトなワールドアクションモデルである。
デュアルストリーム・オブ・トランスフォーマーは、ビデオとアクションの専門家を共通の注意で結合し、将来的な予測と軌跡生成を相互に通知する。
論文 参考訳（メタデータ） (2026-08-01T12:43:31Z) - AeroAct: Action-Centered World-Action Models for Language-Conditioned Quadrotor Flight [42.75555298269899]
言語条件付き四元数飛行には意味的目標を定めるポリシーが必要である。
本研究では,アクション中心の世界行動モデル(WAM)であるAeroActについて述べる。
論文 参考訳（メタデータ） (2026-07-16T13:46:00Z) - GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model [7.161190526180227]
本稿では,凍結したマルチモーダル大言語モデルに適応するビジュアルロボットナビゲーションポリシーであるGemNavを紹介する。
単一の8.7時間のオープンコーパスでは、競合するトレーニングセットよりも約3桁小さく、ゼロショットは物理的に異なる4つの環境に転送される。
短い画像履歴の条件付けはオフラインのメトリクスを改善するが、ロボットの利点は得られない。
論文 参考訳（メタデータ） (2026-07-08T00:46:57Z) - Plan in Sandbox, Navigate in Open Worlds: Learning Physics-Grounded Abstracted Experience for Embodied Navigation [63.11032720821731]
textitSAGEは、エージェントがフォトリアリスティックなシミュレーションではなく、物理基底のセマンティック抽象化内で学習することを可能にするフレームワークである。
textitSAGEは、A-EQA上で53.21% LLM-Match Success Rateを達成することで、プランナー支援の実施ナビゲーションを大幅に改善することを示した。
論文 参考訳（メタデータ） (2026-05-11T07:34:30Z) - VLN-Zero: Rapid Exploration and Cache-Enabled Neurosymbolic Vision-Language Planning for Zero-Shot Transfer in Robot Navigation [52.00474922315126]
未確認環境のための視覚言語ナビゲーションフレームワークであるVLN-Zeroを提案する。
我々は視覚言語モデルを用いて、記号的なシーングラフを効率的に構築し、ゼロショットのニューロシンボリックナビゲーションを可能にする。
VLN-Zeroは、最先端のゼロショットモデルと比べて2倍の成功率を獲得し、最も微調整されたベースラインを上回り、半分の時間でゴール地点に達する。
論文 参考訳（メタデータ） (2025-09-23T03:23:03Z) - AirScape: An Aerial Generative World Model with Motion Controllability [29.696659138543136]
AirScapeは、6自由度飛行エージェント用に設計された世界初の世界モデルである。
現在の視覚的入力と動きの意図に基づいて将来の観測を予測する。
論文 参考訳（メタデータ） (2025-07-10T16:05:30Z) - Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。
まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。
このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
論文 参考訳（メタデータ） (2024-06-21T13:48:37Z) - Learning to Move with Affordance Maps [57.198806691838364]
物理的な空間を自律的に探索し、ナビゲートする能力は、事実上あらゆる移動型自律エージェントの基本的な要件である。
従来のSLAMベースの探索とナビゲーションのアプローチは、主にシーン幾何学の活用に重点を置いている。
学習可能な余剰マップは探索と航法の両方において従来のアプローチの強化に利用でき、性能が大幅に向上することを示します。
論文 参考訳（メタデータ） (2020-01-08T04:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。