論文の概要: SCILLA: SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution
- arxiv url: http://arxiv.org/abs/2403.10344v1
- Date: Fri, 15 Mar 2024 14:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 16:51:41.551660
- Title: SCILLA: SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution
- Title(参考訳): SCILLA:SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution
- Authors: Hala Djeghim, Nathan Piasco, Moussab Bennehar, Luis Roldão, Dzmitry Tsishkou, Désiré Sidibé,
- Abstract要約: SCILLAは2次元画像から大きな運転シーンを再構築するハイブリッドな表面学習手法である。
SCILLAは,様々な都市シナリオにおいて,正確な3次元表面のシーン表現を学べることを示す。
- 参考スコア(独自算出の注目度): 4.216707699421813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural implicit surface representation methods have recently shown impressive 3D reconstruction results. However, existing solutions struggle to reconstruct urban outdoor scenes due to their large, unbounded, and highly detailed nature. Hence, to achieve accurate reconstructions, additional supervision data such as LiDAR, strong geometric priors, and long training times are required. To tackle such issues, we present SCILLA, a new hybrid implicit surface learning method to reconstruct large driving scenes from 2D images. SCILLA's hybrid architecture models two separate implicit fields: one for the volumetric density and another for the signed distance to the surface. To accurately represent urban outdoor scenarios, we introduce a novel volume-rendering strategy that relies on self-supervised probabilistic density estimation to sample points near the surface and transition progressively from volumetric to surface representation. Our solution permits a proper and fast initialization of the signed distance field without relying on any geometric prior on the scene, compared to concurrent methods. By conducting extensive experiments on four outdoor driving datasets, we show that SCILLA can learn an accurate and detailed 3D surface scene representation in various urban scenarios while being two times faster to train compared to previous state-of-the-art solutions.
- Abstract(参考訳): ニューラルな暗黙的表面表現法は、最近、印象的な3D再構成結果を示している。
しかし、既存のソリューションは、大きな、束縛されていない、そして非常に詳細な性質のために、都市屋外のシーンを再構築するのに苦労している。
したがって、正確な再構築を実現するには、LiDAR、強力な幾何学的事前、長い訓練時間などの追加の監視データが必要である。
このような問題に対処するために,2次元画像から大規模運転シーンを再構成する新しいハイブリッド表面学習手法であるSCILLAを提案する。
SCILLAのハイブリッドアーキテクチャは、2つの異なる暗黙の場をモデル化している。
都市の屋外シナリオを正確に表現するために, 表面近傍のサンプル点に自己教師付き確率密度推定を頼り, 体積から表面表現へ徐々に遷移する新しいボリュームレンダリング戦略を導入する。
提案手法は, 符号付き距離場の適切な初期化を, 同時手法と比較して, シーン上の幾何学的事前に頼らずに実現できる。
4つの屋外運転データセットについて広範な実験を行うことで、SCILLAは、過去の最先端ソリューションに比べて2倍高速で、様々な都市シナリオにおいて、正確で詳細な3次元表面シーン表現を学習できることを示す。
関連論文リスト
- HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳(メタデータ) (2024-03-19T13:39:05Z) - GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。
拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。
本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
論文 参考訳(メタデータ) (2024-03-18T17:50:41Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳(メタデータ) (2024-01-19T16:15:37Z) - NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。
提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
論文 参考訳(メタデータ) (2023-12-07T19:30:55Z) - Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。
我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
論文 参考訳(メタデータ) (2023-09-19T05:44:00Z) - StreetSurf: Extending Multi-view Implicit Surface Reconstruction to
Street Views [6.35910814268525]
我々はStreetSurfと呼ばれる新しい多視点暗黙的表面再構成手法を提案する。
これは、LiDARデータを必要とせずに、広く使われている自動運転データセットのストリートビューイメージに容易に適用できる。
トレーニング時間1~2時間以内の幾何学的, 外観的, 芸術的復元の質を達成できた。
論文 参考訳(メタデータ) (2023-06-08T07:19:27Z) - Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。
我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。
実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T16:50:19Z) - ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene
Novel View Synthesis [36.87468496678243]
ResNeRFは、屋内シーンノベルビュー合成のための幾何学誘導2段階フレームワークである。
本研究では,シーン形状から推定されるベース密度と,その形状によってパラメータ化された残差密度に基づいて,シーンの密度分布を特徴付ける。
本手法は, 室内環境を再現し, 室内環境を再現し, 室内環境を再現し, 室内環境を再現し, 室内環境を再現し, 室内環境を再現し, 室内環境を再現し, 室内環境を再現する。
論文 参考訳(メタデータ) (2022-11-26T08:48:44Z) - Recovering Fine Details for Neural Implicit Surface Reconstruction [3.9702081347126943]
そこで我々はD-NeuSを提案する。D-NeuSは、微細な幾何学的詳細を復元できるボリュームレンダリング型ニューラル暗示表面再構成法である。
我々は,SDFゼロクロスの補間により表面点に多視点の特徴的整合性を付与する。
本手法は,高精度な表面を細部で再構成し,その性能を向上する。
論文 参考訳(メタデータ) (2022-11-21T10:06:09Z) - Self-supervised Depth Estimation Leveraging Global Perception and
Geometric Smoothness Using On-board Videos [0.5276232626689566]
我々は,グローバルな特徴と局所的な特徴を同時に抽出する画素ワイド深度推定のためのDLNetを提案する。
幾何学的に自然な深度マップを予測するために3次元形状の滑らかさ損失を提案する。
KITTIとMake3Dベンチマークの実験では、提案したDLNetは最先端の手法と競合する性能を実現している。
論文 参考訳(メタデータ) (2021-06-07T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。