論文の概要: Stereo-Planner: Learning Stereo-to-Trajectory Planning for Zero-Shot Sim-to-Real Quadrotor Navigation

• arxiv url: http://arxiv.org/abs/2610.15560v1
• Date: Sun, 11 Oct 2026 12:04:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:58:46.162437
• Title: Stereo-Planner: Learning Stereo-to-Trajectory Planning for Zero-Shot Sim-to-Real Quadrotor Navigation
• Title（参考訳）: Stereo-Planner:Zero-Shot Sim-to-Real QuadrotorナビゲーションのためのStereo-to-Trajectory Planning
• Abstract要約: ステレオRGB観測からゼロショット・シム・トゥ・リアルプランニングを可能にするエンドツーエンドのビジョン・ツー・トラジェクトリフレームワークを提案する。 Scene Representorは、事前訓練された視覚基盤モデルを導入し、シミュレーションおよび実世界の環境間で共有される幾何学的手がかりを抽出する。 トラジェクトリデコーダは、これらの表現をインターリーブされた注意を通してトラジェクトリに変換する。
• 参考スコア（独自算出の注目度）: 28.743559945396864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing navigation systems commonly rely on dedicated depth sensors or explicit depth reconstruction, while learning to generate trajectories directly from RGB images remains challenging due to the sim-to-real domain gap. In this work, we propose Stereo-Planner, an end-to-end vision-to-trajectory framework that enables zero-shot sim-to-real planning from stereo RGB observations. The key idea is to formulate trajectory generation as state- and scale-conditioned querying of latent stereo geometry. A Scene Representor incorporates a pretrained vision grounding foundation model to extract geometric cues shared across simulated and real-world environments, supporting generalization across visual domains. A lightweight Trajectory Decoder then translates these representations into trajectories through interleaved attention, separating trajectory-state interaction from scene-feature retrieval and incorporating the stereo baseline as a metric-scale cue. With these designs, Stereo-Planner is trained entirely on simulated data by minimizing differentiable trajectory costs and deployed directly in real-world environments without fine-tuning. Benchmark results demonstrate strong cross-scene generalization, with a 95% success rate in simulation environments at a commanded speed of 8 m/s, and competitive performance against depth-based planners using only stereo RGB observations for scene perception. Furthermore, deployment on a compact quadrotor equipped with an NVIDIA Orin NX enables autonomous flight at speeds of up to 7 m/s, with a mean onboard vision-to-action inference time of 24.27 ms. The software, simulation environments, and hardware designs will be open-sourced at https://github.com/Stereo-Planner/Stereo-Planner.
• Abstract（参考訳）: 既存のナビゲーションシステムは、通常専用の深度センサーや明示的な深度再構成に頼っているが、RGB画像から直接軌跡を生成する学習は、Sim-to-realドメインギャップのために難しいままである。 本研究では,ステレオRGB観測からゼロショット・シム・トゥ・リアルプランニングを可能にするエンドツーエンドのビジョン・ツー・トラジェクトリフレームワークであるStereo-Plannerを提案する。 鍵となる考え方は、潜在ステレオ幾何学の状態およびスケール条件クエリとして軌道生成を定式化することである。 Scene Representorは、事前訓練された視覚基盤モデルを導入し、シミュレーションされた実世界の環境間で共有される幾何学的手がかりを抽出し、視覚領域間の一般化を支援する。 軽量なトラジェクトリデコーダは、これらの表現をインターリーブされた注意を通して軌跡に変換し、軌跡と状態の相互作用をシーン特徴検索から切り離し、ステレオベースラインをメートルスケールキューとして組み込む。 これらの設計により、Stereo-Plannerは、微分可能な軌道コストを最小化し、微調整なしで直接現実世界の環境に展開することで、シミュレーションデータで完全に訓練される。 ベンチマークの結果は,8m/sでのシミュレーション環境における95%の成功率と,ステレオRGB観測のみを用いた奥行き型プランナーとの競合性能の強いクロスシーン一般化を実証した。 さらに、NVIDIA Orin NXを搭載した小型の四極子への展開は、最大7m/sで、平均24.27msのビジョン・ツー・アクション推論時間で自律飛行を可能にする。ソフトウェア、シミュレーション環境、ハードウェア設計はhttps://github.com/Stereo-Planner/Stereo-Plannerでオープンソース化される。

関連論文リスト

• Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator [70.34667754804168]
  Embodied Navigationは、マルチモーダルな目標を解釈し、3D空間を推論し、現実の世界で確実に目的地に到達するエージェントを構築することを目的としている。 本稿では,RGB-D画像シーケンスから高品質な対話環境を構築するリアルタイムニューラルネットワークフレームワークであるImage2Simを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T02:42:41Z)
• Trans2Occ: Voxel Occupancy Estimation and Grasp for Transparent Objects from Simulation to Reality [125.76063573012853]
  単一ビューRGB入力に基づく透明な物体認識と操作のためのフレームワークを提案する。 提案手法は,1つの画像から直接ボクセル空間の占有率を予測し,下流ロボットの把握を支援する幾何学的表現を提供する。
  論文  参考訳（メタデータ） (2026-06-01T06:59:13Z)
• What Limits Vision-and-Language Navigation ? [18.423144111320592]
  StereoNavは、現実世界のナビゲーションの一貫性を高めるために設計された、堅牢なVision-Language-Actionフレームワークである。 R2R-CEとRxR-CEの実験は、StereoNavが最先端のエゴセントリックなRGB性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-05-13T10:41:24Z)
• Vision Foundation Models for Domain Generalisable Cross-View Localisation in Planetary Ground-Aerial Robotic Teams [15.147723721875456]
  我々は、機械学習を用いて、限られた視野の単眼の地上RGB画像を入力として、局所的な空域マップに自分自身をローカライズするローバーについて検討する。 機械学習手法における重要な考慮事項は、トレーニングに適した接地位置ラベルを持つ実空間データが不足していることである。 クロスビュー・ローカライズされたデュアルエンコーダディープニューラルネットワークを用いた空中地図におけるローバーのローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2026-01-14T03:11:05Z)
• NOVA: Navigation via Object-Centric Visual Autonomy for High-Speed Target Tracking in Unstructured GPS-Denied Environments [56.35569661650558]
  我々はNOVAというオブジェクト中心のフレームワークを導入し、ロバストな目標追跡と衝突認識ナビゲーションを可能にした。 グローバルマップを構築するのではなく、NOVAはターゲットの参照フレーム内での知覚、推定、制御を定式化する。 我々は,都市迷路や森林の小道,間欠的なGPS損失を伴う建物内の繰り返し遷移など,現実の挑戦的なシナリオにまたがってNOVAを検証する。
  論文  参考訳（メタデータ） (2025-06-23T14:28:30Z)
• Towards Scale Consistent Monocular Visual Odometry by Learning from the Virtual World [83.36195426897768]
  仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。 まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。 結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
  論文  参考訳（メタデータ） (2022-03-11T01:51:54Z)
• RARA: Zero-shot Sim2Real Visual Navigation with Following Foreground Cues [42.998649025215045]
  我々は、カメラベースのナビゲーションの特定のケースに取り組み、任意の背景を持つ前景の視覚的キューに従うように定式化する。 目標は、この前景のキューを除いて、空のシミュレーション環境でキャプチャされたデータに視覚エージェントを訓練し、視覚的に多様な現実世界で直接このモデルをテストすることである。
  論文  参考訳（メタデータ） (2022-01-08T09:53:21Z)
• Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
  ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。 現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。 本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。