論文の概要: Vid2Sim: Realistic and Interactive Simulation from Video for Urban Navigation

• arxiv url: http://arxiv.org/abs/2501.06693v1
• Date: Sun, 12 Jan 2025 03:01:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:22:31.981494
• Title: Vid2Sim: Realistic and Interactive Simulation from Video for Urban Navigation
• Title（参考訳）: Vid2Sim: 都市ナビゲーションのためのビデオからのリアルでインタラクティブなシミュレーション
• Authors: Ziyang Xie, Zhizheng Liu, Zhenghao Peng, Wayne Wu, Bolei Zhou,
• Abstract要約: Vid2Simは、ニューラル3Dシーンの再構築とシミュレーションのためのスケーラブルで費用効率のよいReal2simパイプラインを通じてsim2realギャップをブリッジする新しいフレームワークである。 実験により、Vid2Simはデジタル双生児と現実世界の都市ナビゲーションの性能を31.2%、成功率68.3%で大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 62.5805866419814
• License:
• Abstract: Sim-to-real gap has long posed a significant challenge for robot learning in simulation, preventing the deployment of learned models in the real world. Previous work has primarily focused on domain randomization and system identification to mitigate this gap. However, these methods are often limited by the inherent constraints of the simulation and graphics engines. In this work, we propose Vid2Sim, a novel framework that effectively bridges the sim2real gap through a scalable and cost-efficient real2sim pipeline for neural 3D scene reconstruction and simulation. Given a monocular video as input, Vid2Sim can generate photorealistic and physically interactable 3D simulation environments to enable the reinforcement learning of visual navigation agents in complex urban environments. Extensive experiments demonstrate that Vid2Sim significantly improves the performance of urban navigation in the digital twins and real world by 31.2% and 68.3% in success rate compared with agents trained with prior simulation methods.
• Abstract（参考訳）: Sim-to-realのギャップは、ロボットのシミュレーションにおける重要な課題であり、学習したモデルの現実世界への展開を妨げてきた。 これまでの研究は主に、このギャップを軽減するために、ドメインのランダム化とシステム同定に重点を置いてきた。 しかし、これらの手法はシミュレーションとグラフィックスエンジンの固有の制約によって制限されることが多い。 本研究では,ニューラル3次元シーン再構成とシミュレーションのためのスケーラブルで費用効率のよいReal2simパイプラインを通じて,sim2realギャップを効果的にブリッジする新しいフレームワークであるVid2Simを提案する。 Vid2Simは、モノクロ映像を入力として、複雑な都市環境における視覚ナビゲーションエージェントの強化学習を可能にするために、フォトリアリスティックで物理的に相互作用可能な3Dシミュレーション環境を生成することができる。 大規模な実験により、Vid2Simは、従来のシミュレーション手法で訓練されたエージェントと比較して、デジタル双生児と現実世界の都市ナビゲーションの性能を31.2%、68.3%向上させることが示された。

関連論文リスト

• VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
  本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:15:05Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• Real2Sim or Sim2Real: Robotics Visual Insertion using Deep Reinforcement Learning and Real2Sim Policy Adaptation [8.992053371569678]
  本研究では,最小限のインフラ要件を持つ純粋視覚強化学習ソリューションを用いて挿入課題を解決する。 我々はまた、ポリシー適応において、新しくて簡単なソリューションを提供する新しいsim2real戦略、Real2Simを提案する。
  論文  参考訳（メタデータ） (2022-06-06T15:27:25Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial Observability in Visual Navigation [62.22058066456076]
  強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。 RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。 本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:46:59Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。