論文の概要: VLM-MPPI: Grounding Natural Language in Behaviorally Diverse Trajectories for Aerial Navigation
- arxiv url: http://arxiv.org/abs/2609.18451v1
- Date: Wed, 16 Sep 2026 10:44:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.760252
- Title: VLM-MPPI: Grounding Natural Language in Behaviorally Diverse Trajectories for Aerial Navigation
- Title（参考訳）: VLM-MPPI:空中航法のための行動的横軌道における接地自然言語
- Abstract要約: 自然言語の意図を動的に実現可能な飛行行動と整合させる階層型UAVナビゲーションフレームワークを提案する。
我々は6つの行動条件付きモデル予測経路積分(MPPI)プランナーの並列アンサンブルを用いる。
シミュレーションと実世界の飛行の両方の実験では、VLMレイテンシにもかかわらず意味論的に意味のある振る舞いの多様性、堅牢な言語アライメントが示されている。
- 参考スコア（独自算出の注目度）: 11.589115261583641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a hierarchical UAV navigation framework that aligns natural-language intent with dynamically feasible flight behaviors in cluttered indoor environments. To bridge the gap between abstract semantics and low-level control, we employ a parallelized ensemble of six behavior-conditioned Model Predictive Path Integral (MPPI) planners. Crucially, by designing mode-specific guiding costs and sampling biases, we induce distinct trajectory modes that converge to unique behavioral means, yielding a compact set of intentionally diverse candidates rather than mere stochastic variations. We project these 3D candidates onto the onboard first-person-view RGB stream, turning language grounding into a visual action selection problem. A pretrained vision--language model (VLM) asynchronously selects the candidate index given the overlaid FPV image and a natural-language prompt, while MPPI replans at 20Hz and a PID-based low-level controller tracks the selected trajectory. We implement the full pipeline in NVIDIA Isaac Sim and on a real-world quadrotor platform equipped with LiDAR and RGB sensing. Experiments in both simulation and real-world flights show semantically meaningful behavior diversity, robust language alignment despite VLM latency, and safe, repeatable flight across all modes, achieving 100% task success in our evaluated scenarios.
- Abstract（参考訳）: 乱れた屋内環境における自然言語意図と動的に実現可能な飛行行動とを協調する階層型UAVナビゲーションフレームワークを提案する。
抽象意味論と低レベル制御のギャップを埋めるために、6つの行動条件付きモデル予測経路積分(MPPI)プランナーの並列アンサンブルを用いる。
重要なことに、モード固有のガイドコストを設計し、サンプリングバイアスを設計することにより、独自の行動手段に収束する異なる軌道モードを誘導し、単なる確率的変動ではなく、意図的に多様な候補のコンパクトなセットを生成する。
我々は、これらの3D候補を1対1のRGBストリーム上に投影し、言語基盤を視覚行動選択問題に変換する。
事前学習された視覚言語モデル(VLM)は、オーバーレイされたFPV画像と自然言語プロンプトが与えられた候補インデックスを非同期に選択し、MPPIは20Hzで計画し、PIDベースの低レベルコントローラは選択された軌道をトラックする。
NVIDIAのIsaac Simと、LiDARとRGBセンサーを備えた現実世界のクオータプラットフォームで完全なパイプラインを実装している。
シミュレーションと実世界の飛行の両方の実験では、VLMレイテンシに拘わらず意味論的に意味のある振る舞いの多様性、堅牢な言語アライメント、全モードにわたる安全かつ反復可能な飛行が示され、評価シナリオで100%のタスク成功を達成した。
関連論文リスト
- Learning-Based Dynamic Obstacle Avoidance for a UAV Using Only Three Range Sensors [1.2246649738388389]
本研究では,未知の動環境下で一定高度で動作する無人航空機(UAV)のキノダイナミック・オンライン・モーション・プランニングに対する学習に基づくアプローチを提案する。
提案フレームワークは,行動グリッドマップの表現をDeep Reinforcement Learning (DRL)と統合し,継続的制御における安定した政策学習を実現する。
キーとなるアイデアは、低コストな3つの指向性レンジセンサーのみを使用して、信頼性の高いナビゲーションを可能にする状態表現と制御ポリシーの共設計である。
論文 参考訳（メタデータ） (2026-09-13T10:53:43Z) - TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model [49.03909082056646]
人型ロボットを用いて, 乱雑な室内環境をナビゲートする問題について検討した。
本稿では,最初の全身視覚言語ナビゲーションフレームワークであるTANGOを紹介する。
シミュレーション実験では、タンゴは視覚言語ナビゲーションにおける最先端の性能を実証した。
論文 参考訳（メタデータ） (2026-09-08T17:59:55Z) - Hydra: A Navigation World Action Model with Discrete Latent Planning and Continuous Flow-Matching Execution [51.519325778407016]
世界モデルは、ロボットが未来を想像することを可能にするが、リアルタイム制御にこの能力を活用することは、表現のミスアライメントによってボトルネックとなる。
我々は、このギャップを埋める個別のワールドアクションモデルであるHydraを紹介します。
Hydraは、目標指向の計画において最先端の世界モデルよりも優れており、主要なリアクティブ基盤ポリシーのクローズドループ実行能力にマッチまたは超越している。
論文 参考訳（メタデータ） (2026-08-29T01:58:19Z) - Embodied-Navigator: Point, Think, Memorize, and Align for Efficient Navigation [68.02899606570223]
本稿では,効率的なエンボディナビゲーションのための統合フレームワークであるTAMP-Navを提案する。
まず、ナビゲーションを2次元の視覚座標に再構成するPixel-to-3D Action Formulation(Point)を導入する。
次に,Selective Reasoning and Anchor-Trajectory Memory Mechanism (Think and Memorize)を提案する。
論文 参考訳（メタデータ） (2026-08-18T08:37:08Z) - AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。
本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
論文 参考訳（メタデータ） (2026-03-18T12:43:47Z) - CoFL: Continuous Flow Fields for Language-Conditioned Navigation [14.35468089349405]
CoFLは、鳥眼ビュー(BEV)観察と言語指導をナビゲーションのための連続フローフィールドにマッピングするエンドツーエンドのポリシーである。
混合分布の訓練により、CoFLはモジュラービジョン・ランゲージ・モデル(VLM)ベースのプランナーよりも大幅に優れている。
論文 参考訳（メタデータ） (2026-03-03T11:02:55Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳（メタデータ） (2026-02-23T11:00:08Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - VENTURA: Adapting Image Diffusion Models for Unified Task Conditioned Navigation [15.811034169990423]
VENTURAは、インターネットに制約された画像拡散モデルを微調整して経路計画を行う視覚制御ナビゲーションシステムである。
軽量な行動閉鎖ポリシーは、これらの視覚計画を実行可能な軌道に置き、自然言語の指示に従うインターフェースを生成する。
大規模な実世界の評価において、VENTURAは、オブジェクト到達、障害物回避、地形優先タスクに基づく最先端の基盤モデルよりも優れている。
論文 参考訳（メタデータ） (2025-10-01T19:21:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。