論文の概要: ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation

• arxiv url: http://arxiv.org/abs/2610.25690v1
• Date: Mon, 19 Oct 2026 02:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:24:44.752241
• Title: ScaleNav: Scalable Internet Video Pretraining for Language-Conditioned Local Navigation
• Title（参考訳）: ScaleNav: 言語に依存したローカルナビゲーションのためのスケーラブルなインターネットビデオ事前トレーニング
• Abstract要約: エンド・ツー・エンドのナビゲーションポリシーは、シーンをまたいで一般化するために多様なトレーニングデータを必要とする。 インターネットのエゴセントリックなビデオは、現実世界のナビゲーション体験のスケーラブルなソースを提供する。 3段階のトレーニングを備えた統合ワールドアクションフレームワークであるScaleNavを提案する。
• 参考スコア（独自算出の注目度）: 48.37915728575205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study language-conditioned local navigation, where a robot must navigate to a text-specified target visible in its initial observation and stop at the described location. End-to-end navigation policies require diverse training data to generalize across scenes, yet real-robot data is costly to collect and simulated data leaves a sim-to-real gap. Internet egocentric videos offer a scalable source of real-world navigation experience. Our key insight is to learn goal-directed visual dynamics from Internet egocentric videos, and use these dynamics to support robot action generation. To this end, we propose ScaleNav, a unified world-action framework with three-stage training. We first perform instruction-conditioned video pretraining on these videos to learn how observations evolve as the camera approaches instructed targets across diverse real-world scenes. Action alignment then uses action-labeled simulated data to train the model to predict executable action chunks. Joint fine-tuning subsequently optimizes all trainable components together for navigation. ScaleNav achieves success rates of 86.5% on a single-view adaptation of Short-Horizon OVON and 94.9% on our HabitatGS-LN benchmark, outperforming the evaluated baselines on both benchmarks. We further deploy and evaluate ScaleNav on a real quadruped robot, with results supporting the model's ability to generalize to real-world navigation. Code and videos are available at https://zju3dv.github.io/ScaleNav/
• Abstract（参考訳）: 言語条件のローカルナビゲーションについて検討し、ロボットは初期観測で可視なテキスト指定対象に移動し、記述された位置で停止しなければならない。 エンドツーエンドのナビゲーションポリシでは、シーンをまたいださまざまなトレーニングデータが必要ですが、実際のロボットデータは収集とシミュレーションにコストがかかり、sim-to-realギャップが残っています。 インターネットのエゴセントリックなビデオは、現実世界のナビゲーション体験のスケーラブルなソースを提供する。 我々の重要な洞察は、インターネット中心のビデオからゴール指向の視覚力学を学び、ロボットアクション生成をサポートするためにこれらの力学を利用することである。 この目的のために,3段階のトレーニングを備えた統合ワールドアクションフレームワークであるScaleNavを提案する。 まず、これらのビデオ上で、カメラが様々な現実世界のシーンにターゲットを指示するにつれて、観察がどのように進化するかを学ぶために、指導条件付きビデオプレトレーニングを実施します。 アクションアライメントはアクションラベル付きシミュレートされたデータを使用してモデルをトレーニングし、実行可能なアクションチャンクを予測する。 統合ファインチューニングはその後、ナビゲーションのためにすべてのトレーニング可能なコンポーネントを最適化する。 ScaleNavはShort-Horizon OVONのシングルビュー適応で86.5%、HabitatGS-LNベンチマークで94.9%の成功率を達成した。 さらに、実際の四足歩行ロボット上でScaleNavをデプロイし、評価し、実際のナビゲーションにモデルを一般化する能力をサポートする。 コードとビデオはhttps://zju3dv.github.io/ScaleNav/で公開されている。

関連論文リスト

• LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation [52.91080323083409]
  エージェントは異質な目標や視覚的な観察をタスク、環境、ロボットの体現物に翻訳する必要がある。 ここでは,タスク固有の予測ヘッドを使わずに,予め訓練されたVLMの空間的知性を取り入れた,コンパクトな一般化型ナビゲーションモデルLightNav-0を提案する。
  論文  参考訳（メタデータ） (2026-08-31T15:08:53Z)
• ImagiNav: Scalable Embodied Navigation via Generative Visual Prediction and Inverse Dynamics [13.382453086651019]
  Vision-Language Navigationは、高価なエンボディメント固有のロボットデータに基づいて訓練されたエンドツーエンドのポリシーに依存している。 ロボットの動作から視覚計画を切り離す新しいモジュラーパラダイムであるImagiNavを提案する。 ImagiNavは、ロボットのデモを必要とせずに、ロボットナビゲーションへの強力なゼロショット転送をデモする。
  論文  参考訳（メタデータ） (2026-03-14T08:34:02Z)
• Learning to Localize Reference Trajectories in Image-Space for Visual Navigation [11.2075405205209]
  ロボットに依存しない画像空間ガイダンスを提供する視覚ナビゲーションモデルであるLoTISを提案する。 特定のロボットに関連付けられた動作を予測する代わりに、ロボットの現在のビューに現れるように、参照軌道のイメージ空間座標を予測する。 我々のモデルの予測は、多様な実施形態をまたいだゼロショットのガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-02-21T11:33:00Z)
• NavDreamer: Video Models as Zero-Shot 3D Navigators [10.105345998118915]
  本稿では,生成的映像モデルを言語命令と軌跡間の普遍的なインターフェースとして活用する3次元ナビゲーションのための映像ベースのフレームワークを提案する。 我々の主要な仮説は、映像が情報と物理力学をエンコードし、インターネットスケールの可用性と組み合わせることで、ナビゲーションにおけるゼロショットの強力な一般化を可能にする、というものである。
  論文  参考訳（メタデータ） (2026-02-10T13:24:12Z)
• From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning [59.88543114325153]
  本稿では,航法基礎モデルの強化学習能力を高めるためのSeeing-to-Experiencingフレームワークを提案する。 S2Eは、ビデオの事前トレーニングとRLによるポストトレーニングの長所を組み合わせたものだ。 実世界のシーンを3DGSで再現した3D画像に基づく総合的なエンドツーエンド評価ベンチマークであるNavBench-GSを構築した。
  論文  参考訳（メタデータ） (2025-07-29T17:26:10Z)
• GNM: A General Navigation Model to Drive Any Robot [67.40225397212717]
  視覚に基づくナビゲーションのための一般的な目標条件付きモデルは、多くの異なるが構造的に類似したロボットから得られたデータに基づいて訓練することができる。 ロボット間の効率的なデータ共有に必要な設計決定について分析する。 我々は、訓練されたGNMを、下四極子を含む様々な新しいロボットに展開する。
  論文  参考訳（メタデータ） (2022-10-07T07:26:41Z)
• LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action [76.71101507291473]
  本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。 本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
  論文  参考訳（メタデータ） (2022-07-10T10:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。