論文の概要: UrbanCAD: Towards Highly Controllable and Photorealistic 3D Vehicles for Urban Scene Simulation

• arxiv url: http://arxiv.org/abs/2411.19292v1
• Date: Thu, 28 Nov 2024 17:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:58.158936
• Title: UrbanCAD: Towards Highly Controllable and Photorealistic 3D Vehicles for Urban Scene Simulation
• Title（参考訳）: 都市CAD:都市景観シミュレーションのための高可制御・光リアルな3D車両を目指して
• Authors: Yichong Lu, Yichi Cai, Shangzhan Zhang, Hongyu Zhou, Haoji Hu, Huimin Yu, Andreas Geiger, Yiyi Liao,
• Abstract要約: 自律走行シミュレーションとデータ拡張には,高可制御性光現実性3次元車両モデルが不可欠である。 都市画像から高度に制御可能で光リアルな3D車両のデジタルツインを生成するフレームワークであるUrbanCADを紹介する。
• 参考スコア（独自算出の注目度）: 46.47972242593905
• License:
• Abstract: Photorealistic 3D vehicle models with high controllability are essential for autonomous driving simulation and data augmentation. While handcrafted CAD models provide flexible controllability, free CAD libraries often lack the high-quality materials necessary for photorealistic rendering. Conversely, reconstructed 3D models offer high-fidelity rendering but lack controllability. In this work, we introduce UrbanCAD, a framework that pushes the frontier of the photorealism-controllability trade-off by generating highly controllable and photorealistic 3D vehicle digital twins from a single urban image and a collection of free 3D CAD models and handcrafted materials. These digital twins enable realistic 360-degree rendering, vehicle insertion, material transfer, relighting, and component manipulation such as opening doors and rolling down windows, supporting the construction of long-tail scenarios. To achieve this, we propose a novel pipeline that operates in a retrieval-optimization manner, adapting to observational data while preserving flexible controllability and fine-grained handcrafted details. Furthermore, given multi-view background perspective and fisheye images, we approximate environment lighting using fisheye images and reconstruct the background with 3DGS, enabling the photorealistic insertion of optimized CAD models into rendered novel view backgrounds. Experimental results demonstrate that UrbanCAD outperforms baselines based on reconstruction and retrieval in terms of photorealism. Additionally, we show that various perception models maintain their accuracy when evaluated on UrbanCAD with in-distribution configurations but degrade when applied to realistic out-of-distribution data generated by our method. This suggests that UrbanCAD is a significant advancement in creating photorealistic, safety-critical driving scenarios for downstream applications.
• Abstract（参考訳）: 自律走行シミュレーションとデータ拡張には,高可制御性光現実性3次元車両モデルが不可欠である。 手作りCADモデルはフレキシブルな制御性を提供するが、無料CADライブラリはフォトリアリスティックレンダリングに必要な高品質な素材を欠いていることが多い。 逆に再構成された3Dモデルは高忠実なレンダリングを提供するが、制御性に欠ける。 本研究では,1つの都市イメージと自由な3DCADモデルと手作り材料から,高度に制御可能で光リアルな3D車両デジタル双生児を生成することにより,光リアル性-制御性トレードオフのフロンティアを推し進めるフレームワークであるUrbanCADを紹介する。 これらのデジタルツインは、リアルな360度レンダリング、車両挿入、物質移動、リライト、ドアの開閉や窓の転がりなどコンポーネント操作を可能にし、ロングテールのシナリオの構築をサポートする。 そこで本研究では,フレキシブルな制御性と細かな手作り細部を保ちながら,観測データに適応し,検索最適化方式で動作する新しいパイプラインを提案する。 さらに,多視点背景像と魚眼画像から,魚眼画像を用いて環境照明を近似し,背景を3DGSで再構成することにより,最適化CADモデルを新たな背景画像に写実的に挿入することを可能にする。 実験結果から,UrbanCADはフォトリアリズムの観点から,復元と検索に基づくベースラインよりも優れていた。 さらに,UrbanCADにおいて分布内構成で評価すると,実際の分布外データに適用した場合は劣化するが,様々な知覚モデルが精度を保っていることを示す。 このことは、UrbanCADが、下流アプリケーションのためのフォトリアリスティックで安全クリティカルな運転シナリオを作成する上で、重要な進歩であることを示している。

関連論文リスト

• Drive-1-to-3: Enriching Diffusion Priors for Novel View Synthesis of Real Vehicles [81.29018359825872]
  本稿では,実世界の課題に対して,大規模な事前学習モデルを微調整するための一連の優れたプラクティスを統合する。 具体的には,合成データと実運転データとの相違を考慮に入れたいくつかの戦略を開発する。 我々の洞察は、先行芸術よりも新しいビュー合成のためのFIDを68.8%値下げする効果のある微調整につながる。
  論文  参考訳（メタデータ） (2024-12-19T03:39:13Z)
• MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes [72.02827211293736]
  制御可能な3Dストリートシーン生成のための新しいパイプラインであるMagicDrive3Dを紹介する。 生成モデルをトレーニングする前に再構築する従来の方法とは異なり、MagicDrive3Dはまずビデオ生成モデルをトレーニングし、生成したデータから再構成する。 本研究の結果は, 自律運転シミュレーション等の可能性を示すとともに, フレームワークの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-05-23T12:04:51Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image [34.47379913018661]
  本稿では,RGB画像からのCAD検索とアライメントに対する,最初の弱教師付き確率的アプローチであるDiffCADを提案する。 我々はこれを条件付き生成タスクとして定式化し、拡散を利用して画像中のCADオブジェクトの形状、ポーズ、スケールをキャプチャする暗黙の確率モデルを学ぶ。 提案手法は, 合成データのみを用いて学習し, 単眼深度とマスク推定を利用して, 種々の実対象領域へのロバストなゼロショット適応を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:10:21Z)
• EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction [53.28220984270622]
  3次元再構成法はリアルタイムに3次元整合性のある高忠実度結果を生成する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
  論文  参考訳（メタデータ） (2023-11-16T11:30:56Z)
• GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
  GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。 車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。 生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2023-04-04T23:41:20Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve [54.054575408582565]
  本稿では,既存の3次元モデルの大規模データセットを活用し,画像中の物体の3次元構造を理解することを提案する。 本稿では,実世界の画像と検出対象を共同で検出するMask2CADについて,最も類似したCADモデルとそのポーズを最適化する。 これにより、画像内のオブジェクトのクリーンで軽量な表現が生成される。
  論文  参考訳（メタデータ） (2020-07-26T00:08:37Z)
• CAD-Deform: Deformable Fitting of CAD Models to 3D Scans [30.451330075135076]
  本稿では,検索したCADモデルを用いて,より高精度なCAD-to-Scanマッチングを実現するCAD-Deformを提案する。 一連の実験により,本手法はより厳密なスキャン・トゥ・CAD適合性を実現し,スキャンした実環境のより正確なデジタル複製を可能にした。
  論文  参考訳（メタデータ） (2020-07-23T12:30:20Z)
• Learning Neural Light Transport [28.9247002210861]
  ニューラルネットワークを用いた静的・動的3次元シーンにおける光輸送の学習手法を提案する。 我々のモデルは静的および動的シーンのフォトリアリスティックなレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-06-05T13:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。