論文の概要: Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function
- arxiv url: http://arxiv.org/abs/2202.13855v1
- Date: Mon, 28 Feb 2022 15:11:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 21:03:03.544444
- Title: Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function
- Title（参考訳）: 適応的符号付き距離関数を有する自動走行車の大規模3次元セマンティック再構成
- Authors: Haohao Hu, Hexing Yang, Jian Wu, Xiao Lei, Frank Bieder, Jan-Hendrik
Pauls and Christoph Stiller
- Abstract要約: 本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。
Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。
各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
- 参考スコア（独自算出の注目度）: 9.414880946870916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Large-scale 3D reconstruction, texturing and semantic mapping are
nowadays widely used for automated driving vehicles, virtual reality and
automatic data generation. However, most approaches are developed for RGB-D
cameras with colored dense point clouds and not suitable for large-scale
outdoor environments using sparse LiDAR point clouds. Since a 3D surface can be
usually observed from multiple camera images with different view poses, an
optimal image patch selection for the texturing and an optimal semantic class
estimation for the semantic mapping are still challenging.
To address these problems, we propose a novel 3D reconstruction, texturing
and semantic mapping system using LiDAR and camera sensors. An Adaptive
Truncated Signed Distance Function is introduced to describe surfaces
implicitly, which can deal with different LiDAR point sparsities and improve
model quality. The from this implicit function extracted triangle mesh map is
then textured from a series of registered camera images by applying an optimal
image patch selection strategy. Besides that, a Markov Random Field-based data
fusion approach is proposed to estimate the optimal semantic class for each
triangle mesh. Our approach is evaluated on a synthetic dataset, the KITTI
dataset and a dataset recorded with our experimental vehicle. The results show
that the 3D models generated using our approach are more accurate in comparison
to using other state-of-the-art approaches. The texturing and semantic mapping
achieve also very promising results.
- Abstract（参考訳）: 大規模な3D再構成、テクスチャ、セマンティックマッピングは、現在では自動走行車、バーチャルリアリティ、自動データ生成に広く利用されている。
しかし,RGB-Dカメラには高密度の濃淡点雲が採用されており,疎LiDAR点雲を用いた大規模屋外環境には適していない。
3次元表面は通常、異なるビューポーズを持つ複数のカメラ画像から観察できるため、テクスチャのための最適な画像パッチ選択とセマンティックマッピングのための最適なセマンティッククラス推定は依然として困難である。
そこで本研究では,LiDARとカメラセンサを用いた3次元再構成,テクスチャ,セマンティックマッピングシステムを提案する。
A Adaptive Truncated Signed Distance Functionは、面を暗黙的に記述するために導入され、異なるLiDAR点の間隔に対処し、モデル品質を改善することができる。
この暗黙関数抽出三角形メッシュマップから、最適な画像パッチ選択戦略を適用することにより、一連のカメラ画像からテクスチャ化される。
さらに,マルコフ確率場に基づくデータ融合手法を提案し,各三角形メッシュの最適セマンティッククラスを推定した。
提案手法は, 合成データセット, KITTIデータセット, 実験車両で記録したデータセットを用いて評価する。
その結果,本手法を用いて生成した3次元モデルは,他の最先端手法と比較して精度が高いことがわかった。
テクスチャとセマンティックマッピングは、非常に有望な結果をもたらす。
関連論文リスト
- Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Neural Rendering based Urban Scene Reconstruction for Autonomous Driving [8.007494499012624]
ニューラルな暗黙表面と放射場を組み合わせたフレームワークを用いたマルチモーダル3次元シーン再構成を提案する。
Dense 3Dリコンストラクションは、自動アノテーションバリデーションを含む自動走行に多くの応用がある。
我々は,挑戦的な自動車シーンの質的,定量的な結果を示す。
論文 参考訳（メタデータ） (2024-02-09T23:20:23Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - Normal Transformer: Extracting Surface Geometry from LiDAR Points Enhanced by Visual Semantics [7.507853813361308]
本稿では,LiDARとカメラセンサから得られた3次元点雲と2次元カラー画像を利用して表面正規化を行うマルチモーダル手法を提案する。
本稿では,視覚的意味論と3次元幾何学的情報を巧みに融合した,トランスフォーマーに基づくニューラルネットワークアーキテクチャを提案する。
交通シーンを模倣したシミュレーション3D環境から,提案モデルが学習可能であることが確認された。
論文 参考訳（メタデータ） (2022-11-19T03:55:09Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Using Adaptive Gradient for Texture Learning in Single-View 3D
Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。
本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。
また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文 参考訳（メタデータ） (2021-04-29T07:52:54Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳（メタデータ） (2020-07-17T12:34:38Z) - PerMO: Perceiving More at Once from a Single Image for Autonomous
Driving [76.35684439949094]
単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。
私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。
我々はこれらのアルゴリズムを自律運転システムに統合した。
論文 参考訳（メタデータ） (2020-07-16T05:02:45Z) - Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。
以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。
本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-09T11:19:24Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。