論文の概要: SCILLA: SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution
- arxiv url: http://arxiv.org/abs/2403.10344v1
- Date: Fri, 15 Mar 2024 14:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 16:51:41.551660
- Title: SCILLA: SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution
- Title（参考訳）: SCILLA:SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution
- Authors: Hala Djeghim, Nathan Piasco, Moussab Bennehar, Luis Roldão, Dzmitry Tsishkou, Désiré Sidibé,
- Abstract要約: SCILLAは2次元画像から大きな運転シーンを再構築するハイブリッドな表面学習手法である。
SCILLAは,様々な都市シナリオにおいて,正確な3次元表面のシーン表現を学べることを示す。
- 参考スコア（独自算出の注目度）: 4.216707699421813
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural implicit surface representation methods have recently shown impressive 3D reconstruction results. However, existing solutions struggle to reconstruct urban outdoor scenes due to their large, unbounded, and highly detailed nature. Hence, to achieve accurate reconstructions, additional supervision data such as LiDAR, strong geometric priors, and long training times are required. To tackle such issues, we present SCILLA, a new hybrid implicit surface learning method to reconstruct large driving scenes from 2D images. SCILLA's hybrid architecture models two separate implicit fields: one for the volumetric density and another for the signed distance to the surface. To accurately represent urban outdoor scenarios, we introduce a novel volume-rendering strategy that relies on self-supervised probabilistic density estimation to sample points near the surface and transition progressively from volumetric to surface representation. Our solution permits a proper and fast initialization of the signed distance field without relying on any geometric prior on the scene, compared to concurrent methods. By conducting extensive experiments on four outdoor driving datasets, we show that SCILLA can learn an accurate and detailed 3D surface scene representation in various urban scenarios while being two times faster to train compared to previous state-of-the-art solutions.
- Abstract（参考訳）: ニューラルな暗黙的表面表現法は、最近、印象的な3D再構成結果を示している。
しかし、既存のソリューションは、大きな、束縛されていない、そして非常に詳細な性質のために、都市屋外のシーンを再構築するのに苦労している。
したがって、正確な再構築を実現するには、LiDAR、強力な幾何学的事前、長い訓練時間などの追加の監視データが必要である。
このような問題に対処するために,2次元画像から大規模運転シーンを再構成する新しいハイブリッド表面学習手法であるSCILLAを提案する。
SCILLAのハイブリッドアーキテクチャは、2つの異なる暗黙の場をモデル化している。
都市の屋外シナリオを正確に表現するために, 表面近傍のサンプル点に自己教師付き確率密度推定を頼り, 体積から表面表現へ徐々に遷移する新しいボリュームレンダリング戦略を導入する。
提案手法は, 符号付き距離場の適切な初期化を, 同時手法と比較して, シーン上の幾何学的事前に頼らずに実現できる。
4つの屋外運転データセットについて広範な実験を行うことで、SCILLAは、過去の最先端ソリューションに比べて2倍高速で、様々な都市シナリオにおいて、正確で詳細な3次元表面シーン表現を学習できることを示す。
関連論文リスト
- StreetSurfGS: Scalable Urban Street Surface Reconstruction with Planar-based Gaussian Splatting [85.67616000086232]
StreetSurfGSは、スケーラブルな街路景観の再構築に適したガウススプラッティングを利用するための最初の方法である。
StreetSurfGSは、平面ベースのオクツリー表現とセグメンテーショントレーニングを使用して、メモリコストを削減し、ユニークなカメラ特性に対応し、スケーラビリティを確保する。
スパースビューとマルチスケールの課題に対処するために、隣接する情報と長期情報を活用する2段階マッチング戦略を用いる。
論文 参考訳（メタデータ） (2024-10-06T04:21:59Z) - GigaGS: Scaling up Planar-Based 3D Gaussians for Large Scene Surface Reconstruction [71.08607897266045]
3D Gaussian Splatting (3DGS) は新規なビュー合成において有望な性能を示した。
本研究は,大規模な景観表面再構築の課題に取り組むための最初の試みである。
3DGSを用いた大規模シーンのための高品質な表面再構成手法であるGigaGSを提案する。
論文 参考訳（メタデータ） (2024-09-10T17:51:39Z) - Spurfies: Sparse Surface Reconstruction using Local Geometry Priors [8.260048622127913]
我々はスパースビュー表面再構成の新しい手法であるSpurfiesを紹介した。
それは、合成データに基づいて訓練された局所幾何学的先行情報を利用するために、外観と幾何学的情報を切り離す。
提案手法をDTUデータセット上で検証し,従来技術よりも表面品質が35%向上したことを示す。
論文 参考訳（メタデータ） (2024-08-29T14:02:47Z) - Efficient Depth-Guided Urban View Synthesis [52.841803876653465]
高速フィードフォワード推論とシーンごとのファインチューニングのための効率的な深層誘導型都市ビュー合成(EDUS)を提案する。
EDUSは、粗い入力画像から一般化可能な都市ビュー合成を可能にするためのガイダンスとして、ノイズの多い幾何学的先行情報を利用する。
その結果,EDUSは高速なテスト時間最適化と組み合わせることで,スパース・ビュー・セッティングにおける最先端性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-07-17T08:16:25Z) - Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。
本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。
私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
論文 参考訳（メタデータ） (2024-04-02T10:13:18Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - NeuSD: Surface Completion with Multi-View Text-to-Image Diffusion [56.98287481620215]
本稿では,対象物の一部のみを捉えた複数の画像から3次元表面再構成を行う手法を提案する。
提案手法は, 表面の可視部分の再構成に神経放射場を用いた表面再構成法と, SDS (Score Distillation Sampling) 方式で事前学習した2次元拡散モデルを用いて, 可観測領域の形状を再現する手法である。
論文 参考訳（メタデータ） (2023-12-07T19:30:55Z) - StreetSurf: Extending Multi-view Implicit Surface Reconstruction to
Street Views [6.35910814268525]
我々はStreetSurfと呼ばれる新しい多視点暗黙的表面再構成手法を提案する。
これは、LiDARデータを必要とせずに、広く使われている自動運転データセットのストリートビューイメージに容易に適用できる。
トレーニング時間1～2時間以内の幾何学的, 外観的, 芸術的復元の質を達成できた。
論文 参考訳（メタデータ） (2023-06-08T07:19:27Z) - Self-supervised Depth Estimation Leveraging Global Perception and
Geometric Smoothness Using On-board Videos [0.5276232626689566]
我々は,グローバルな特徴と局所的な特徴を同時に抽出する画素ワイド深度推定のためのDLNetを提案する。
幾何学的に自然な深度マップを予測するために3次元形状の滑らかさ損失を提案する。
KITTIとMake3Dベンチマークの実験では、提案したDLNetは最先端の手法と競合する性能を実現している。
論文 参考訳（メタデータ） (2021-06-07T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。