論文の概要: DriveGAN: Towards a Controllable High-Quality Neural Simulation

• arxiv url: http://arxiv.org/abs/2104.15060v1
• Date: Fri, 30 Apr 2021 15:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 13:29:28.576612
• Title: DriveGAN: Towards a Controllable High-Quality Neural Simulation
• Title（参考訳）: DriveGAN:制御可能な高品質ニューラルネットワークを目指して
• Authors: Seung Wook Kim, Jonah Philion, Antonio Torralba, Sanja Fidler
• Abstract要約: DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
• 参考スコア（独自算出の注目度）: 147.6822288981004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Realistic simulators are critical for training and verifying robotics systems. While most of the contemporary simulators are hand-crafted, a scaleable way to build simulators is to use machine learning to learn how the environment behaves in response to an action, directly from data. In this work, we aim to learn to simulate a dynamic environment directly in pixel-space, by watching unannotated sequences of frames and their associated action pairs. We introduce a novel high-quality neural simulator referred to as DriveGAN that achieves controllability by disentangling different components without supervision. In addition to steering controls, it also includes controls for sampling features of a scene, such as the weather as well as the location of non-player objects. Since DriveGAN is a fully differentiable simulator, it further allows for re-simulation of a given video sequence, offering an agent to drive through a recorded scene again, possibly taking different actions. We train DriveGAN on multiple datasets, including 160 hours of real-world driving data. We showcase that our approach greatly surpasses the performance of previous data-driven simulators, and allows for new features not explored before.
• Abstract（参考訳）: 現実的なシミュレータはロボットシステムの訓練と検証に不可欠である。 現代のシミュレータのほとんどは手作りだが、シミュレータを構築するためのスケール可能な方法は、データから直接、アクションに応じて環境がどのように振る舞うかを機械学習を使って学習することだ。 本研究では,フレームとその関連アクションペアの無注列を観察することで,ピクセル空間内で直接動的環境をシミュレートすることを学ぶ。 本稿では,DriveGANと呼ばれる新しい高品質ニューラルネットワークを導入し,異なるコンポーネントを監督なしに切り離すことで制御性を実現する。 ステアリングコントロールに加えて、天気や非プレイヤーオブジェクトの位置などのシーンの特徴をサンプリングするコントロールも含まれている。 DriveGANは、完全に微分可能なシミュレータであるため、与えられたビデオシーケンスを再シミュレートし、エージェントが記録されたシーンを再びドライブし、おそらく異なるアクションをとることができる。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。 提案手法は,従来のデータ駆動シミュレータの性能を大幅に上回り,これまで検討されなかった新機能の実現を可能にする。

関連論文リスト

• SimGen: Simulator-conditioned Driving Scene Generation [50.03358485083602]
  シミュレーション条件付きシーン生成フレームワークSimGenを紹介する。 SimGenは、シミュレータと現実世界のデータを混ぜることで、多様な運転シーンを生成することを学ぶ。 テキストプロンプトとシミュレータからのレイアウトに基づいて制御性を保ちながら、優れた生成品質と多様性を実現する。
  論文  参考訳（メタデータ） (2024-06-13T17:58:32Z)
• GarchingSim: An Autonomous Driving Simulator with Photorealistic Scenes and Minimalist Workflow [24.789118651720045]
  光実写シーンを用いた自律走行シミュレータを提案する。 シミュレータはROS2またはSocket.IOを介して外部アルゴリズムと通信することができる。 シミュレータ内に高精度な車両力学モデルを実装し,車体効果の現実性を高める。
  論文  参考訳（メタデータ） (2024-01-28T23:26:15Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• UniSim: A Neural Closed-Loop Sensor Simulator [76.79818601389992]
  センサ搭載車両によって記録された1つのログをキャプチャする、ニューラルネットワークシミュレータUniSimを提示する。 UniSimは、静的バックグラウンドと動的アクターの両方を再構築するために、ニューラルネットワーク機能グリッドを構築する。 動的オブジェクトの学習可能な事前情報を組み込んで、畳み込みネットワークを利用して未確認領域を完成させる。
  論文  参考訳（メタデータ） (2023-08-03T17:56:06Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• SimNet: Learning Reactive Self-driving Simulations from Real-world Observations [10.035169936164504]
  運転体験を現実的にシミュレートできるエンドツーエンドのトレーニング可能な機械学習システムを提案する。 これは、高価で時間を要する道路テストに頼ることなく、自動運転システムのパフォーマンスの検証に使用できる。
  論文  参考訳（メタデータ） (2021-05-26T05:14:23Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。