論文の概要: ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration

• arxiv url: http://arxiv.org/abs/2411.19548v1
• Date: Fri, 29 Nov 2024 08:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:51.842459
• Title: ReconDreamer: Crafting World Models for Driving Scene Reconstruction via Online Restoration
• Title（参考訳）: ReconDreamer: オンライン修復によるシーン再構築のための世界モデルの構築
• Authors: Chaojun Ni, Guosheng Zhao, Xiaofeng Wang, Zheng Zhu, Wenkang Qin, Guan Huang, Chen Liu, Yuyin Chen, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan, Peng Jia, Xianpeng Lang, Xingang Wang, Wenjun Mei,
• Abstract要約: ReconDreamerは、世界モデル知識の漸進的な統合を通じて、ドライブシーンの再構築を強化する。 私たちの知る限りでは、ReconDreamerは大規模な操作で効果的にレンダリングする最初の方法です。
• 参考スコア（独自算出の注目度）: 30.755679955159504
• License:
• Abstract: Closed-loop simulation is crucial for end-to-end autonomous driving. Existing sensor simulation methods (e.g., NeRF and 3DGS) reconstruct driving scenes based on conditions that closely mirror training data distributions. However, these methods struggle with rendering novel trajectories, such as lane changes. Recent works have demonstrated that integrating world model knowledge alleviates these issues. Despite their efficiency, these approaches still encounter difficulties in the accurate representation of more complex maneuvers, with multi-lane shifts being a notable example. Therefore, we introduce ReconDreamer, which enhances driving scene reconstruction through incremental integration of world model knowledge. Specifically, DriveRestorer is proposed to mitigate artifacts via online restoration. This is complemented by a progressive data update strategy designed to ensure high-quality rendering for more complex maneuvers. To the best of our knowledge, ReconDreamer is the first method to effectively render in large maneuvers. Experimental results demonstrate that ReconDreamer outperforms Street Gaussians in the NTA-IoU, NTL-IoU, and FID, with relative improvements by 24.87%, 6.72%, and 29.97%. Furthermore, ReconDreamer surpasses DriveDreamer4D with PVG during large maneuver rendering, as verified by a relative improvement of 195.87% in the NTA-IoU metric and a comprehensive user study.
• Abstract（参考訳）: 閉ループシミュレーションはエンドツーエンドの自動運転に不可欠である。 既存のセンサシミュレーション手法(例えば、NeRFと3DGS)は、トレーニングデータ分布を密接に反映した条件に基づいて運転シーンを再構成する。 しかし、これらの手法は、車線変更のような新しい軌跡の描画に苦慮している。 近年の研究では、世界モデル知識の統合がこれらの問題を緩和することを実証している。 効率性にも拘わらず、これらのアプローチはより複雑な操作の正確な表現において依然として困難に遭遇し、マルチレーンシフトが顕著な例である。 そこで我々はReconDreamerを導入し,世界モデル知識の漸進的な統合を通じてシーン再構築を促進する。 具体的には、DriveRestorerは、オンライン復元を通じてアーティファクトを緩和するために提案されている。 これは、より複雑な操作のために高品質なレンダリングを保証するために設計された、プログレッシブなデータ更新戦略によって補完される。 私たちの知る限りでは、ReconDreamerは大規模な操作で効果的にレンダリングする最初の方法です。 実験の結果、ReconDreamerはNTA-IoU、NTL-IoU、FIDでストリートガウシアンを上回っ、相対的な改善は24.87%、6.72%、29.97%であった。 さらに、ReconDreamerは大規模な操作レンダリング中にDriveDreamer4DをPVGで上回り、NTA-IoUの195.87%の相対的な改善と総合的なユーザースタディによって検証された。

関連論文リスト

• DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation [32.19534057884047]
  本稿では,世界モデルの先行モデルを利用した4次元運転シーン表現を強化するDriveDreamer4Dを紹介する。 われわれの知る限り、DriveDreamer4Dは、運転シナリオにおける4D再構成を改善するためにビデオ生成モデルを利用する最初の企業である。
  論文  参考訳（メタデータ） (2024-10-17T14:07:46Z)
• Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
  World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。 エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。 クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-25T06:48:25Z)
• LOID: Lane Occlusion Inpainting and Detection for Enhanced Autonomous Driving Systems [0.0]
  本研究では,難易度の高い環境下での車線検出を向上するための2つの革新的なアプローチを提案する。 最初のアプローチであるAug-Segmentは、CULanesのトレーニングデータセットを増強することで、従来のレーン検出モデルを改善する。 第2のアプローチであるLOID Lane Occlusion Inpainting and Detectionは、塗装モデルを用いて、閉鎖された地域の道路環境を再構築する。
  論文  参考訳（メタデータ） (2024-08-17T06:55:40Z)
• CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation [44.83732884335725]
  センサシミュレーションでは、車などの交通参加者を高品質な外観と明瞭な幾何学でモデル化する。 現在の再構築アプローチは、その広さとノイズのために、Wildのセンサーデータに苦労している。 本稿では,車体形状を自動再構成するために,CADモデルの小さなセットと微分レンダリングを併用したCADSimを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:56:59Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Reinforcement Learning with Human Feedback for Realistic Traffic Simulation [53.85002640149283]
  効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。 本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
  論文  参考訳（メタデータ） (2023-09-01T19:29:53Z)
• Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
  本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。 我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。 我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
  論文  参考訳（メタデータ） (2023-07-28T16:03:28Z)
• PlayVirtual: Augmenting Cycle-Consistent Virtual Trajectories for Reinforcement Learning [84.30765628008207]
  本稿では,RL特徴表現学習におけるデータ効率を向上させるために,サイクル一貫性のある仮想トラジェクトリを付加するPlayVirtualという新しい手法を提案する。 本手法は,両ベンチマークにおいて,最先端の手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-08T07:37:37Z)
• There and Back Again: Learning to Simulate Radar Data for Real-World Applications [21.995474023869388]
  我々は、シミュレーションされた標高マップに基づいて忠実なレーダー観測を合成できるレーダセンサモデルを学ぶ。 我々は、不整合レーダの例から前方センサーモデルを学ぶための敵対的アプローチを採用する。 実環境におけるシミュレーションデータに基づいて純粋に訓練された下流セグメンテーションモデルを評価することにより,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-11-29T15:49:23Z)
• Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
  本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。 再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。 シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-16T17:16:32Z)
• Meta Reinforcement Learning-Based Lane Change Strategy for Autonomous Vehicles [11.180588185127892]
  教師付き学習アルゴリズムは、大量のラベル付きデータをトレーニングすることで、新しい環境に一般化することができる。 しばしば、新しい環境ごとに十分なデータを得るために、実用的または費用を抑えることができる。 エージェントの一般化能力を向上させるメタ強化学習(MRL)法を提案する。
  論文  参考訳（メタデータ） (2020-08-28T02:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。