論文の概要: DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

• arxiv url: http://arxiv.org/abs/2407.16988v2
• Date: Tue, 30 Jul 2024 01:16:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 12:29:44.503583
• Title: DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction
• Title（参考訳）: ドリームカー:3Dカーの改造に先駆けて車に特化
• Authors: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu,
• Abstract要約: 自動運転産業は通常、プロのアーティストを雇って、精巧な3D自動車を作っている。 自動車の画像を含むデータセットはすでに多数存在するので、これらのデータセットから高品質な3Dカーモデルを再構築することに重点を置いています。 1枚の画像であっても、高品質な3D車を再構成できるDreamCarという新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 29.095687643972784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. \href{https://xiaobiaodu.github.io/dreamcar-project/}{Our code is available.}
• Abstract（参考訳）: 自動運転産業は通常、プロのアーティストを雇って、精巧な3D自動車を作っている。 しかし、大規模なデジタル資産を作るのは高価である。 自動車の画像を含むデータセットはすでに多数存在するので、これらのデータセットから高品質な3Dカーモデルを再構築することに重点を置いています。 しかし、これらのデータセットは前方移動シーンにおける車の片側のみを含む。 既存の生成モデルを使って、より監督的な情報を提供しようとしているが、車固有のものではなく、合成データセットで訓練されているため、車内での一般化に苦慮している。 また,3次元車両のテクスチャの誤りは,撮影画像の撮影時にカメラポーズ推定の誤差が大きいためである。 これらの制限により、従来の3D車両の改造は困難である。 これらの問題に対処するために,DreamCarという新しい手法を提案する。 生成モデルを一般化するために、Car360という名前の自動車データセットを5,600台以上の車両で収集する。 このデータセットにより、生成モデルを車に対してより堅牢にする。 我々は、車に特異的なこの生成的前駆体を用いて、スコア蒸留サンプリングを通してその再構築を誘導する。 監視情報をさらに補完するために,車両の幾何学的・外観対称性を利用する。 最後に、テクスチャのミスアライメントに取り組むために、ポーズを修正できるポーズ最適化手法を提案する。 大規模な実験により, 高品質な3D車両の再構築において, 既存手法よりも優れた性能が得られた。 https://xiaobiaodu.github.io/dreamcar-project/}{Our コードは利用可能である。 ※

関連論文リスト

• VQA-Diff: Exploiting VQA and Diffusion for Zero-Shot Image-to-3D Vehicle Asset Generation in Autonomous Driving [25.03216574230919]
  VQA-Diff(VQA-Diff)は、車載画像を活用し、自動運転車のための3D車両資産を作成する新しいフレームワークである。 VQA-Diffは、VQA(Visual Question Answering)モデルにおけるLarge Language Modelから受け継いだ実世界の知識を利用して、堅牢なゼロショット予測を行う。 我々はPascal 3D+を含む様々なデータセットの実験を行い、VQA-Diffが既存の最先端手法よりも質的かつ定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-09T03:09:55Z)
• 3DRealCar: An In-the-wild RGB-D Car Dataset with 360-degree Views [24.414577645896415]
  3D車は一般的に、自動運転システム、バーチャル/拡張現実、ゲームで使われている。 既存の3Dカーデータセットは、合成または低品質のどちらかであり、高品質の現実世界の3Dカーデータセットに対する大きなギャップを示している。 3DRealCarと呼ばれる,3つの特徴を備えた,最初の大規模3D実車データセットを提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:14:27Z)
• MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes [72.02827211293736]
  制御可能な3Dストリートシーン生成のための新しいパイプラインであるMagicDrive3Dを紹介する。 生成モデルをトレーニングする前に再構築する従来の方法とは異なり、MagicDrive3Dはまずビデオ生成モデルをトレーニングし、生成したデータから再構成する。 本研究の結果は, 自律運転シミュレーション等の可能性を示すとともに, フレームワークの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-05-23T12:04:51Z)
• Surrogate Modeling of Car Drag Coefficient with Depth and Normal Renderings [4.868319717279586]
  本稿では,3次元カードラッグの予測の有効性を検証するために,新しい2次元3次元形状表現法を提案する。 我々はドラッグ係数でラベル付けされた9,070個の高品質な3Dカーメッシュの多様なデータセットを構築した。 実験により,車種別0.84以上のR2$値のドラッグ係数を精度良く,効率的に評価できることを示した。
  論文  参考訳（メタデータ） (2023-05-26T09:33:12Z)
• GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
  GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。 車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。 生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2023-04-04T23:41:20Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices [78.20154723650333]
  高品質な3次元地下構造は3次元物体再構成評価に不可欠である。 本稿では,モバイルデバイスを用いた新しいマルチビューRGBDデータセットを提案する。 我々は,ハイエンド3Dスキャナーを使わずに,精密な3次元地下構造が得られる。
  論文  参考訳（メタデータ） (2023-03-03T14:02:50Z)
• One Million Scenes for Autonomous Driving: ONCE Dataset [91.94189514073354]
  自律運転シナリオにおける3次元物体検出のためのONCEデータセットを提案する。 データは、利用可能な最大の3D自動運転データセットよりも20倍長い144時間の運転時間から選択される。 我々はONCEデータセット上で、様々な自己教師的・半教師的手法を再現し、評価する。
  論文  参考訳（メタデータ） (2021-06-21T12:28:08Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。