論文の概要: GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model
- arxiv url: http://arxiv.org/abs/2607.06882v1
- Date: Wed, 08 Jul 2026 00:46:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.24381
- Title: GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model
- Title（参考訳）: GemNav:マルチモーダル大言語モデルを用いた離散的視覚ロボットナビゲーション
- Abstract要約: 本稿では,凍結したマルチモーダル大言語モデルに適応するビジュアルロボットナビゲーションポリシーであるGemNavを紹介する。
単一の8.7時間のオープンコーパスでは、競合するトレーニングセットよりも約3桁小さく、ゼロショットは物理的に異なる4つの環境に転送される。
短い画像履歴の条件付けはオフラインのメトリクスを改善するが、ロボットの利点は得られない。
- 参考スコア（独自算出の注目度）: 7.161190526180227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual navigation policies built on large pretrained models have so far followed a common recipe: a dedicated visual encoder, a bespoke action head, and training on thousands of hours of cross-embodiment datasets. We ask whether this recipe is necessary. In this paper, we introduce GemNav, a visual robot navigation policy that adapts a frozen Multimodal Large Language Model (MLLM) for short-to-medium horizon waypoint navigation using Low-Rank Adaptation (LoRA) on the language tower alone, with no auxiliary visual encoder and no continuous regression head. Waypoints and categorical navigation signals share a single discrete token vocabulary generated by the language-model head, and a soft-decoded auxiliary loss recovers the metric structure that pure cross-entropy training discards. On a single 8.7-hour open corpus, roughly three orders of magnitude smaller than competing training sets, the policy transfers zero-shot to four physically distinct unseen environments and stops within 0.25-0.42m of the goal across 20 real-world trials covering an open carpark, an obstacle carpark, a long outdoor chemical yard, and an indoor warehouse. Conditioning on short image histories improves offline metrics but yields no robot benefit, pointing to a ceiling on what temporal context adds once pretrained vision features are in place. These results indicate that discrete-token adaptation of frozen MLLMs can provide a data-efficient, deployable alternative for foundation model robot navigation.
- Abstract（参考訳）: 大規模な事前トレーニングされたモデル上に構築されたビジュアルナビゲーションポリシは、これまでは、専用のビジュアルエンコーダ、起動アクションヘッド、数千時間にわたるクロスボデーメントデータセットのトレーニングなど、一般的なレシピに従っている。
私たちはこのレシピが必要かどうか尋ねる。
本稿では,Low-Rank Adaptation (LoRA) を言語塔のみに使用し,補助的な視覚エンコーダや連続回帰ヘッドを持たない,凍結型マルチモーダル大規模言語モデル (MLLM) を適用した視覚ロボットナビゲーションポリシーであるGemNavを紹介する。
ウェイポイントとカテゴリーナビゲーション信号は、言語モデルヘッドによって生成された単一の離散トークン語彙を共有し、ソフトデコードされた補助損失は、純粋なクロスエントロピートレーニングが放棄するメトリック構造を回復する。
単一の8.7時間のオープンコーパスでは、競合するトレーニングセットよりも約3桁小さく、ゼロショットを4つの物理的に異なる未確認環境に転送し、オープンカルボク、障害物カルボク、長い屋外化学ヤード、屋内倉庫を含む20の現実世界の試験でゴールの0.25-0.42m以内に停止する。
短い画像履歴の条件付けはオフラインのメトリクスを改善するが、ロボットの利点は得られない。
これらの結果から,凍結型MLLMの離散的適応は,基礎モデルロボットナビゲーションのためのデータ効率,デプロイ可能な代替手段となる可能性が示唆された。
関連論文リスト
- One MLLM, One Call: Efficient Zero-Shot Vision-and-Language Navigation via Spatial-Aware Waypoints [10.32396390031609]
VLN-CE(Vision-and-Language Navigation in Continuous Environments)は、自然言語の指示に従うことで、目に見えない環境をナビゲートするために、具体化されたエージェントを必要とする。
O2C-Navは効率的なゼロショットナビゲーションフレームワークで、決定ステップ毎に1つの大きなモデルのみを呼び出します。
提案手法では,RGB画像に直接視覚的マーカーとして,学習不要な構造化されたウェイポイント生成器と,疎小かつ歴史に見合った候補ウェイポイントを投影する新しい抽象表現を導入している。
論文 参考訳（メタデータ） (2026-09-06T08:49:10Z) - LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。
ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
論文 参考訳（メタデータ） (2026-08-31T15:08:53Z) - Offline Vision-Language Navigation with Geometric Goal Localization for Outdoor Environments [0.0]
ファンデーションモデルに基づく視覚言語ナビゲーション(VLN)は、ロボットが自然言語の指示を解釈できるようにすることにより、高度な自律型ロボットナビゲーションを提供する。
既存のVLNシステムは、言語理解とセマンティックグラウンドリングのために、クラウドでホストされた基礎モデルに大きく依存している。
本稿では,屋外環境における完全搭載VLNへの3つの貢献について述べる。
論文 参考訳（メタデータ） (2026-07-24T11:49:25Z) - Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System [96.69286664036143]
Qwen-RobotNavは、Qwen-RobotNav上に構築されたスケーラブルなナビゲーションモデルである。
156万のサンプルでQwen-RobotNavをトレーニングします。
Qwen-RobotNavは、主要なナビゲーションベンチマークにまたがって、最先端の結果を新たに設定する。
論文 参考訳（メタデータ） (2026-06-16T16:17:44Z) - PlatonicNav: Unveiling Semantic Correspondence in Navigation with Platonic Topological Maps [14.35568539633215]
身体的な視覚ナビゲーションは、家庭用サービスロボティクス、補助ロボティクス、大規模自律探査など、幅広い応用を支えている。
我々は,Platonic Topological Mapが自己教師付き視覚エンコーダから幾何学的および意味的ノード距離を融合する学習自由フレームワークであるPlatonicNavを紹介し,視覚言語データをペア化せずにブラインドマッチングによって言語目標をグラウンド化する。
論文 参考訳（メタデータ） (2026-06-01T07:08:50Z) - Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。
統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
論文 参考訳（メタデータ） (2026-05-26T18:52:04Z) - ReasonNavi: Human-Inspired Global Map Reasoning for Zero-Shot Embodied Navigation [53.95797153529148]
身体的エージェントは、主に部分的な自我中心の観測に依存するため、効率的なナビゲーションに苦しむことが多い。
本稿では,マルチモーダル大規模言語モデル(MLLM)と決定論的プランナを結合することにより,この理由に基づくパラダイムを運用する,人間にインスパイアされたフレームワークであるReasonNaviを紹介する。
論文 参考訳（メタデータ） (2026-01-26T19:09:20Z) - OpenNav: Open-World Navigation with Multimodal Large Language Models [8.41361699991122]
大型言語モデル(LLM)は強力な常識推論能力を示しており、ロボットナビゲーションと計画タスクを約束している。
ロボットが複雑な言語命令を解釈して分解し、最終的には一連の軌跡を合成して、多様なナビゲーションタスクを完備化することを目指している。
室内および屋外の両方のシーンにおいて,ハスキーロボットを用いたシステムの有効性を検証し,実世界のロバスト性と適用性を示す。
論文 参考訳（メタデータ） (2025-07-24T02:05:28Z) - FASTNav: Fine-tuned Adaptive Small-language-models Trained for Multi-point Robot Navigation [10.3997505825422]
本稿では,ロボットナビゲーションのための軽量言語モデル(SLM)の強化手法であるFASTNavを提案する。
シミュレーションと実ロボットの両方でFASTNavを用いてモデルをトレーニングし、評価し、低コスト、高精度、低応答時間でデプロイできることを証明した。
論文 参考訳（メタデータ） (2024-11-20T12:28:13Z) - ViNT: A Foundation Model for Visual Navigation [52.2571739391896]
Visual Navigation Transformer (ViNT) は視覚に基づくロボットナビゲーションの基礎モデルである。
ViNTは、任意のナビゲーションデータセットで使用可能な、汎用的な目標達成目標でトレーニングされている。
特定のデータセットでトレーニングされたスペシャリストモデルよりも優れた、肯定的な転送を示す。
論文 参考訳（メタデータ） (2023-06-26T16:57:03Z) - LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language,
Vision, and Action [76.71101507291473]
本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。
本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
論文 参考訳（メタデータ） (2022-07-10T10:41:50Z) - Rapid Exploration for Open-World Navigation with Latent Goal Models [78.45339342966196]
多様なオープンワールド環境における自律的な探索とナビゲーションのためのロボット学習システムについて述べる。
本手法のコアとなるのは、画像の非パラメトリックトポロジカルメモリとともに、距離と行動の学習された潜在変数モデルである。
学習方針を規則化するために情報ボトルネックを使用し、(i)目標のコンパクトな視覚的表現、(ii)一般化能力の向上、(iii)探索のための実行可能な目標をサンプリングするためのメカニズムを提供する。
論文 参考訳（メタデータ） (2021-04-12T23:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。