論文の概要: MV-DeepSDF: Implicit Modeling with Multi-Sweep Point Clouds for 3D Vehicle Reconstruction in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2309.16715v1
• Date: Mon, 21 Aug 2023 15:48:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 05:47:25.700246
• Title: MV-DeepSDF: Implicit Modeling with Multi-Sweep Point Clouds for 3D Vehicle Reconstruction in Autonomous Driving
• Title（参考訳）: mv-deepsdf:マルチスウィープポイントクラウドによる暗黙的モデリングによる自動運転における3次元車両再構成
• Authors: Yibo Liu, Kelly Zhu, Guile Wu, Yuan Ren, Bingbing Liu, Yang Liu, Jinjun Shan
• Abstract要約: 我々は,マルチスウィープ点雲からの最適符号距離関数(SDF)形状表現を推定するMV-DeepSDFと呼ばれる新しいフレームワークを提案する。 2つの実世界の自律走行データセットについて徹底的な実験を行う。
• 参考スコア（独自算出の注目度）: 25.088617195439344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing 3D vehicles from noisy and sparse partial point clouds is of great significance to autonomous driving. Most existing 3D reconstruction methods cannot be directly applied to this problem because they are elaborately designed to deal with dense inputs with trivial noise. In this work, we propose a novel framework, dubbed MV-DeepSDF, which estimates the optimal Signed Distance Function (SDF) shape representation from multi-sweep point clouds to reconstruct vehicles in the wild. Although there have been some SDF-based implicit modeling methods, they only focus on single-view-based reconstruction, resulting in low fidelity. In contrast, we first analyze multi-sweep consistency and complementarity in the latent feature space and propose to transform the implicit space shape estimation problem into an element-to-set feature extraction problem. Then, we devise a new architecture to extract individual element-level representations and aggregate them to generate a set-level predicted latent code. This set-level latent code is an expression of the optimal 3D shape in the implicit space, and can be subsequently decoded to a continuous SDF of the vehicle. In this way, our approach learns consistent and complementary information among multi-sweeps for 3D vehicle reconstruction. We conduct thorough experiments on two real-world autonomous driving datasets (Waymo and KITTI) to demonstrate the superiority of our approach over state-of-the-art alternative methods both qualitatively and quantitatively.
• Abstract（参考訳）: 騒々しい部分的な雲から3D車両を再構築することは、自動運転にとって非常に重要である。 既存の3次元再構成法の多くは, 難易度の高い入出力を扱うために精巧に設計されているため, 直接適用できない。 本研究では,マルチスウィープポイント雲から最適符号距離関数(SDF)形状の表現を推定し,野生の車両を再構築するMV-DeepSDFという新しいフレームワークを提案する。 SDFに基づく暗黙的モデリング手法はいくつか存在するが、それらは単一のビューベースの再構築のみに焦点を当てており、その結果、忠実度は低い。 対照的に, 潜在特徴空間におけるマルチスウィープ整合性と相補性を分析し, 暗黙的空間形状推定問題を要素対集合特徴抽出問題に変換することを提案する。 そこで我々は,個々の要素レベルの表現を抽出し,それらを集約して,セットレベルの予測潜在コードを生成する新しいアーキテクチャを考案した。 このセットレベルの潜伏符号は、暗黙空間における最適3次元形状の表現であり、その後車両の連続SDFに復号することができる。 このように3次元車両再構成のためのマルチスウィープ間の一貫性と補完情報を学習する。 実世界の2つの自動運転データセット(waymoとkitti)について徹底的な実験を行い、質的かつ定量的に最先端の代替手法よりも優れたアプローチを実証した。

関連論文リスト

• GaussianAnything: Interactive Point Cloud Latent Diffusion for 3D Generation [75.39457097832113]
  本稿では,インタラクティブなポイントクラウド構造ラテント空間を備えたスケーラブルで高品質な3D生成を実現する,新しい3D生成フレームワークを提案する。 本フレームワークでは,複数ビューのRGB-D(epth)-N(ormal)レンダリングを入力として使用する変分オートエンコーダを,3次元形状情報を保存する独自のラテント空間設計を用いて構成する。 提案手法であるGaussianAnythingは,複数モード条件付き3D生成をサポートし,ポイントクラウド,キャプション,シングル/マルチビュー画像入力を可能にする。
  論文  参考訳（メタデータ） (2024-11-12T18:59:32Z)
• VortSDF: 3D Modeling with Centroidal Voronoi Tesselation on Signed Distance Field [5.573454319150408]
  四面体グリッド上での3次元形状特性を推定するために,明示的なSDFフィールドと浅いカラーネットワークを組み合わせた体積最適化フレームワークを提案する。 Chamfer統計による実験結果は、オブジェクト、オープンシーン、人間などの様々なシナリオにおいて、前例のない復元品質でこのアプローチを検証する。
  論文  参考訳（メタデータ） (2024-07-29T09:46:39Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior [9.716201630968433]
  セマンティックシーン理解には3次元オブジェクト再構成が重要である。 奥行き情報,閉塞音,ノイズの欠如により,単眼画像から詳細な3次元形状を復元することは困難である。 本研究では,3次元オブジェクトモデルの大規模データセットから物体形状分布を学習し,潜在空間にマッピングするニューラルオブジェクト表現を活用することで,この問題に対処する。 本稿では,その表現の一部として不確実性をモデル化し,個々の入力画像から直接不確実性コードを生成する不確実性認識エンコーダを定義する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-17T03:25:13Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• AutoAlignV2: Deformable Feature Aggregation for Dynamic Multi-Modal 3D Object Detection [17.526914782562528]
  我々はAutoAlign上に構築された高速で強力なマルチモーダル3D検出フレームワークであるAutoAlignV2を提案する。 我々の最良のモデルは、nuScenesテストのリーダーボード上で72.4 NDSに達し、新しい最先端の結果が得られます。
  論文  参考訳（メタデータ） (2022-07-21T06:17:23Z)
• AutoSDF: Shape Priors for 3D Completion, Reconstruction and Generation [29.018733252938926]
  パワフルな事前処理によって、不十分な情報で推論を実行できます。 本稿では, 形状完了, 復元, 生成といったマルチモーダルな3次元課題を解決するために, 3次元形状に対する自己回帰前処理を提案する。
  論文  参考訳（メタデータ） (2022-03-17T17:59:54Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)
• Reconfigurable Voxels: A New Representation for LiDAR-Based Point Clouds [76.52448276587707]
  本稿では,3次元点群から表現を構成する新しい手法であるReconfigurable Voxelsを提案する。 具体的には,各地区を一定数のボクセルで適応的にカバーするランダムウォーク方式を考案する。 この手法は,特に疎水領域において,ボクセル特性の安定性を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-04-06T15:07:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。