論文の概要: "Dear LLaVA, Please Drive": A Depth-Aware Vision-Language Agent for Closed-Loop Robotic Control

• arxiv url: http://arxiv.org/abs/2609.22925v1
• Date: Sat, 19 Sep 2026 10:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 17:22:02.429319
• Title: "Dear LLaVA, Please Drive": A Depth-Aware Vision-Language Agent for Closed-Loop Robotic Control
• Title（参考訳）: Dear LLaVA, please Drive:Dear LLaVA:クローズドループロボット制御のための深度認識型視覚言語エージェント
• Abstract要約: 視覚言語モデル(VLM)は推論駆動のモバイルナビゲーションのための魅力的な基盤を提供する。 本稿では,Imperative Learning パラダイムを用いて,自律ナビゲーションのための事前学習VLMを微調整するパラメータ効率の手法を提案する。 本稿では,自然言語駆動型ロボット制御のためのエンドツーエンドナビゲーションパイプラインについて紹介する。
• 参考スコア（独自算出の注目度）: 0.2905751301655124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) provide a compelling foundation for reasoning-driven mobile navigation, offering rich contextual understanding and strong generalization from large-scale pretraining. Most existing navigation frameworks rely on imitation learning and therefore require substantial labeled trajectory data, limiting their scalability and robustness. In this work, we propose a parameter-efficient approach to fine-tune a pretrained VLM for autonomous navigation using an Imperative Learning paradigm. By optimizing against differentiable geometric cost fields rather than labeled trajectories, our model learns to generate collision-free paths exclusively from stereoscopic depth observations. We introduce a unified end-to-end navigation pipeline for natural-language-driven robotic control. This system leverages a shared VLM backbone with task-specific Low-Rank Adaptation (LoRA) modules, effectively bridging the gap from semantic target selection to low-level trajectory planning. Our approach achieves competitive Success weighted by Path Length (SPL) in unseen environments while updating less than 1% of the model's total parameters. Qualitative real-world experiments validate sim-to-real generalization and stable path planning without fine-tuning on real-world data. These results highlight a practical approach for deploying VLM-based agents on mobile robots, enabling high-level semantic navigation without the prohibitive requirement for large-scale, labeled trajectory data.
• Abstract（参考訳）: 視覚言語モデル(VLM)は推論駆動型モバイルナビゲーションの魅力的な基盤を提供し、コンテキスト理解の充実と大規模事前学習からの強力な一般化を提供する。 ほとんどの既存のナビゲーションフレームワークは模倣学習に依存しており、従ってかなりのラベル付き軌跡データを必要とし、スケーラビリティと堅牢性を制限する。 そこで本研究では,Imperative Learning パラダイムを用いて,事前学習した自律ナビゲーション用VLMを微調整するパラメータ効率のアプローチを提案する。 ラベル付き軌道ではなく、微分可能な幾何学的コスト場に対して最適化することにより、立体視深度観測のみから衝突のない経路を生成することを学ぶ。 本稿では,自然言語駆動型ロボット制御のためのエンドツーエンドナビゲーションパイプラインについて紹介する。 このシステムは、タスク固有の低ランク適応(LoRA)モジュールと共有VLMバックボーンを活用し、セマンティックターゲットの選択から低レベルの軌道計画へのギャップを効果的に埋める。 提案手法は, モデル全体のパラメータの1%以下を更新しながら, 未確認環境におけるパス長(SPL)の重み付けによる競合的成功を実現する。 定性的実世界の実験は、実世界のデータを微調整することなく、sim-to-realの一般化と安定した経路計画を検証する。 これらの結果は,VLMをベースとしたエージェントを移動ロボットにデプロイする実践的なアプローチを強調し,大規模ラベル付き軌道データに対する禁断的な要求を伴わずに,高レベルのセマンティックナビゲーションを可能にする。

関連論文リスト

• Towards Edge Intelligence via Autonomous Navigation: A Robot-Assisted Data Collection Approach [7.871361120036574]
  既存のロボット支援データ収集手法は、特にNLoS(Non-of-sight)環境で、信頼性と効率的なパフォーマンスを達成する上で大きな課題に直面している。 本稿では,地域対応の伝搬特性と非点衝突伝搬特性を組み込んだ通信駆動型デュアルMMDナビゲーション方式を提案する。 また, CLDはナビゲーション, コミュニケーション, 学習目標間の重み係数を柔軟に調整することで, 異なるシナリオに適応できることを示した。
  論文  参考訳（メタデータ） (2026-04-04T07:40:26Z)
• APPLV: Adaptive Planner Parameter Learning from Vision-Language-Action Model [21.492007331670376]
  本稿では,自律ナビゲーションのための適応型プランナー学習モデル(textscapplv)を提案する。 textscapplvは、ナビゲーション性能と一般化の両方において、既存のメソッドよりも優れています。 我々は,収集した航法軌道からの教師付き学習微調整と,航法性能をさらに最適化するための強化学習微調整の2つの訓練戦略を開発した。
  論文  参考訳（メタデータ） (2026-03-09T19:23:09Z)
• TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
  Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。 我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。 トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。 埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
  論文  参考訳（メタデータ） (2026-03-03T13:28:07Z)
• AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
  視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。 無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。 本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
  論文  参考訳（メタデータ） (2026-02-10T11:08:07Z)
• CoINS: Counterfactual Interactive Navigation via Skill-Aware VLM [13.352875026471445]
  スキル認識型VLM(CoINS)による対物対話ナビゲーションを提案する。 我々は、スキルの余裕と具体的な制約パラメータを入力コンテキストに組み込んだ、InterNav-VLMというVLMを微調整する。 生成した高レベルプランを実行するために,強化学習による総合的なスキルライブラリを開発する。
  論文  参考訳（メタデータ） (2026-01-07T14:10:46Z)
• Navigating Motion Agents in Dynamic and Cluttered Environments through LLM Reasoning [69.5875073447454]
  本稿では,大規模言語モデル(LLM)によって強化された動作エージェントを,動的・乱雑な環境における自律的なナビゲーションに向けて前進させる。 トレーニング不要なフレームワークは、マルチエージェント調整、クローズドループ計画、動的障害物回避を、リトレーニングや微調整なしでサポートしています。
  論文  参考訳（メタデータ） (2025-03-10T13:39:09Z)
• Affordances-Oriented Planning using Foundation Models for Continuous Vision-Language Navigation [64.84996994779443]
  本稿では,連続視覚言語ナビゲーション(VLN)タスクのためのAffordances-Oriented Plannerを提案する。 我々のAO-Plannerは、様々な基礎モデルを統合して、アベイランス指向の低レベルな動き計画とハイレベルな意思決定を実現する。 挑戦的なR2R-CEデータセットとRxR-CEデータセットの実験は、AO-Plannerが最先端のゼロショットのパフォーマンスを達成したことを示している。
  論文  参考訳（メタデータ） (2024-07-08T12:52:46Z)
• Can an Embodied Agent Find Your "Cat-shaped Mug"? LLM-Guided Exploration for Zero-Shot Object Navigation [58.3480730643517]
  言語駆動型ゼロショットオブジェクトゴールナビゲーション(L-ZSON)のための新しいアルゴリズムLGXを提案する。 このアプローチでは、このタスクにLarge Language Models(LLM)を使用します。 現状のゼロショットオブジェクトナビゲーションをRoboTHOR上で実現し,現在のベースラインよりも27%以上の成功率(SR)向上を実現した。
  論文  参考訳（メタデータ） (2023-03-06T20:19:19Z)
• Visual-Language Navigation Pretraining via Prompt-based Environmental Self-exploration [83.96729205383501]
  本稿では,言語埋め込みの高速適応を実現するために,プロンプトベースの学習を導入する。 我々のモデルは、VLNやREVERIEを含む多様な視覚言語ナビゲーションタスクに適応することができる。
  論文  参考訳（メタデータ） (2022-03-08T11:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。