論文の概要: See What I Need, Dream What I Want: A Navigation Foundation Model on a Self-Constructed Representation Space

• arxiv url: http://arxiv.org/abs/2610.31762v1
• Date: Thu, 22 Oct 2026 18:00:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.257815
• Title: See What I Need, Dream What I Want: A Navigation Foundation Model on a Self-Constructed Representation Space
• Title（参考訳）: 自己構築型表現空間のナビゲーション基礎モデル
• Abstract要約: 本稿では,自己構築型表現空間上に構築されたナビゲーション基盤モデルRepresentNavを提案する。 あらゆるアクションの前に、暗黙のチェーンがシーンの表現を予測します。 RepresentNavはVLNVerse、VLN-CE R2R、EVT-Bench、および2つのポイントゴールベンチマークに新しい技術状態を設定する。
• 参考スコア（独自算出の注目度）: 27.39246731997866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What visual representation should a navigation policy act on? Navigation policies built on vision foundation models largely leave representation design to the encoders' pretraining objectives. We present RepresentNav, a navigation foundation model built on a self-constructed representation space: a visual representation constructed by the policy's own objectives from vision foundation models. RepresentNav builds this space with Representation Residuals, a compact three-layer transformer that attends over features spanning the full depth of multiple complementary vision foundation models, so that the policy learns to see what it needs for navigation. In the same space it dreams what it wants: before every action a latent chain-of-thought predicts the representation of the scene a moment ahead. The dream is trained end-to-end with the policy as a joint-embedding predictive architecture (JEPA), with a next-representation prediction loss and a regularizer on its targets. RepresentNav sets a new state of the art on VLNVerse, VLN-CE R2R, EVT-Bench, and two point-goal benchmarks, and its gains carry over to a physical robot amid clutter and moving people. On VLNVerse fine-grained, RepresentNav achieves 83.80% success, outperforming the previous state of the art by 20.05 percentage points, and on EVT-Bench distracted tracking it reaches 85.5% with a single camera (+10.1). With the same encoders, the self-constructed space clearly outperforms concatenating their outputs and learns to weight their layers unevenly, and a dream in it cuts collisions by a quarter. A single dreamed latent decodes into the depth, semantics, and 3D occupancy of the scene a moment ahead, more accurately than pretrained encoders applied to the real future frame, although occupancy is never supervised, and the rollout tracks the robot's own motion over the next second: the dream emerges as a compact latent world model.
• Abstract（参考訳）: ナビゲーションポリシーはどのような視覚的表現を行うべきか? 視覚基盤モデル上に構築されたナビゲーションポリシーは、主に表現設計をエンコーダの事前訓練対象に委ねる。 本稿では,自己構築型表現空間上に構築されたナビゲーション基盤モデルであるRepresentNavについて述べる。 RepresentNavはこの空間をRepresentation Residuals(Representation Residuals)というコンパクトな3層トランスフォーマーで構築している。 あらゆるアクションの前に、暗黙のチェーンがシーンの表現を予測します。 夢は、JEPA(Command-embedding predictive Architecture)としてポリシーとエンドツーエンドでトレーニングされ、次の表現予測損失と目標に対する正規化が実現される。 RepresentNavは、VLNVerse、VLN-CE R2R、EVT-Bench、および2つのポイントゴールベンチマークに新たな最先端技術を導入している。 VLNVerseでは、RepresentNavは83.80%の成功を達成し、従来の最先端の20.05ポイントを上回っ、EVT-Benchでは1台のカメラ(+10.1)で85.5%に達する。 同じエンコーダで、自己構築された空間は、アウトプットを結合し、層を均一に重み付けすることを学び、その中の夢は衝突を4分の1削減する。 一人の夢の潜伏者がシーンの奥行き、セマンティクス、そして3Dの占有を先取りし、現実の未来のフレームに適用される事前訓練されたエンコーダよりも正確にデコードするが、その占有は監視されず、ロールアウトはロボット自身の動きを次の秒で追跡する。

関連論文リスト

• FutureNav: Unified World-Action Modeling for Vision-and-Language Navigation [22.882723669402026]
  FutureNavは、視覚・言語ナビゲーションのためのVLMベースの統合ワールドアクションモデリングフレームワークである。 本論文では,FutureNavが複数のVLNベンチマークで最先端性能を実現し,従来のVLN手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2026-06-29T14:33:03Z)
• PlatonicNav: Unveiling Semantic Correspondence in Navigation with Platonic Topological Maps [14.35568539633215]
  身体的な視覚ナビゲーションは、家庭用サービスロボティクス、補助ロボティクス、大規模自律探査など、幅広い応用を支えている。 我々は,Platonic Topological Mapが自己教師付き視覚エンコーダから幾何学的および意味的ノード距離を融合する学習自由フレームワークであるPlatonicNavを紹介し,視覚言語データをペア化せずにブラインドマッチングによって言語目標をグラウンド化する。
  論文  参考訳（メタデータ） (2026-06-01T07:08:50Z)
• Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
  身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。 統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
  論文  参考訳（メタデータ） (2026-05-26T18:52:04Z)
• What Is The Best 3D Scene Representation for Robotics? From Geometric to Foundation Models [68.35971238810863]
  現在のSLAMとローカライゼーションシステムは、点雲やボクセルのようなスパース表現に依存している。 NeRF、3DGS、ファンデーションモデルは、ハイレベルなセマンティック機能と言語ベースの先行機能を統合するのに適している。
  論文  参考訳（メタデータ） (2025-12-03T03:57:01Z)
• Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving [48.512353531499286]
  本稿では,視覚言語モデル(VLM)に2D/3Dシーン理解能力を暗黙的に統合した知覚強調世界認識行動モデルPercept-WAMを紹介する。 我々は,高密度物体知覚のためのグリッド条件付き予測機構を提案し,IoU対応スコアリングと並列自己回帰デコードを導入し,長距離・遠距離・小対象シナリオの安定性を向上させる。 実験により、パーセプションWAMは下流の知覚ベンチマークで古典的な検出器やセグメンタと一致し、2D検出とBEV 3D検出で51.7/58.9 mAPを達成した。
  論文  参考訳（メタデータ） (2025-11-24T15:28:25Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Self-Supervised Object Goal Navigation with In-Situ Finetuning [110.6053241629366]
  この研究は、探検を通じて世界の自己監督モデルを構築するエージェントを構築する。 ObjectNavエージェントのすべてのコンポーネントをトレーニングできる強力なセルフスーパービジョンのソースを特定します。 我々は,エージェントが実世界で競争力を発揮し,シミュレーションを行うことを示す。
  論文  参考訳（メタデータ） (2022-12-09T03:41:40Z)
• NavDreams: Towards Camera-Only RL Navigation Among Humans [35.57943738219839]
  我々は,アタリゲームにおけるモデリングと学習の方針を示す世界モデルの概念が,カメラによるナビゲーション問題にも適用できるかどうかを考察する。 我々は、ロボットが目標を達成するために衝突することなく、静的で動く人間を通り過ぎなければならないシミュレーション環境を作成する。 現状の手法はナビゲーション問題の解決に成功でき、将来の画像系列の夢のような予測を生成することができる。
  論文  参考訳（メタデータ） (2022-03-23T09:46:44Z)
• Pathdreamer: A World Model for Indoor Navigation [62.78410447776939]
  本研究では,新しい屋内環境をナビゲートするエージェントの視覚的世界モデルPathdreamerを紹介する。 過去に1つ以上の視覚観測がなされると、パスドレーマーは可視性の高い高解像度の360度視覚観測を生成する。 不確実性の高い地域では、Pathdreamerは多様なシーンを予測でき、エージェントは複数の現実的な結果をサンプリングすることができる。
  論文  参考訳（メタデータ） (2021-05-18T18:13:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。