論文の概要: StreetSurf: Extending Multi-view Implicit Surface Reconstruction to Street Views

• arxiv url: http://arxiv.org/abs/2306.04988v1
• Date: Thu, 8 Jun 2023 07:19:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:55:08.018556
• Title: StreetSurf: Extending Multi-view Implicit Surface Reconstruction to Street Views
• Title（参考訳）: StreetSurf: ストリートビューへの多面的インシシデント表面再構成の拡張
• Authors: Jianfei Guo, Nianchen Deng, Xinyang Li, Yeqi Bai, Botian Shi, Chiyu Wang, Chenjing Ding, Dongliang Wang, Yikang Li
• Abstract要約: 我々はStreetSurfと呼ばれる新しい多視点暗黙的表面再構成手法を提案する。 これは、LiDARデータを必要とせずに、広く使われている自動運転データセットのストリートビューイメージに容易に適用できる。 トレーニング時間1～2時間以内の幾何学的, 外観的, 芸術的復元の質を達成できた。
• 参考スコア（独自算出の注目度）: 6.35910814268525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel multi-view implicit surface reconstruction technique, termed StreetSurf, that is readily applicable to street view images in widely-used autonomous driving datasets, such as Waymo-perception sequences, without necessarily requiring LiDAR data. As neural rendering research expands rapidly, its integration into street views has started to draw interests. Existing approaches on street views either mainly focus on novel view synthesis with little exploration of the scene geometry, or rely heavily on dense LiDAR data when investigating reconstruction. Neither of them investigates multi-view implicit surface reconstruction, especially under settings without LiDAR data. Our method extends prior object-centric neural surface reconstruction techniques to address the unique challenges posed by the unbounded street views that are captured with non-object-centric, long and narrow camera trajectories. We delimit the unbounded space into three parts, close-range, distant-view and sky, with aligned cuboid boundaries, and adapt cuboid/hyper-cuboid hash-grids along with road-surface initialization scheme for finer and disentangled representation. To further address the geometric errors arising from textureless regions and insufficient viewing angles, we adopt geometric priors that are estimated using general purpose monocular models. Coupled with our implementation of efficient and fine-grained multi-stage ray marching strategy, we achieve state of the art reconstruction quality in both geometry and appearance within only one to two hours of training time with a single RTX3090 GPU for each street view sequence. Furthermore, we demonstrate that the reconstructed implicit surfaces have rich potential for various downstream tasks, including ray tracing and LiDAR simulation.
• Abstract（参考訳）: 本稿では,LDARデータを必要とせず,Waymoの知覚シーケンスなど,広く使用されている自動運転データセットのストリートビュー画像に容易に適用可能な,新しい多視点暗黙的表面再構成手法であるStreetSurfを提案する。 ニューラルレンダリングの研究が急速に拡大するにつれ、ストリートビューへの統合が関心を集め始めている。 既存のストリートビューへのアプローチは、主にシーン幾何学をほとんど探求しない新規なビュー合成に焦点を当てているか、あるいは再構築を調査する際に密集したLiDARデータに大きく依存している。 どちらも、特にLiDARデータのない設定下で、多視点の暗黙的な表面再構成を調査していない。 提案手法は,非対象中心,長径,狭径のカメラ軌道で捉えたストリートビューがもたらす特異な課題に対処するために,従来の物体中心神経表面再構成手法を拡張した。 非有界空間をクブイド境界を整列した近距離、遠視野、空という3つの部分に分け、より微細で不連続な表現のための路面初期化スキームとともに、キューブイド/ハイパーキューブイドハッシュグリッドを適応させる。 テクスチャのない領域や視野角の不足から生じる幾何学的誤りをさらに解決するために,汎用単眼モデルを用いて推定される幾何学的先行問題を採用する。 効率良く細粒度な多段レイマーチング戦略の実装と組み合わせることで,ストリートビューのシーケンス毎に単一のrtx3090 gpuを用いて,1時間から2時間以内のトレーニング時間内に,幾何と外観の両方におけるアートリコンストラクションの品質を実現する。 さらに, 再構成された暗示面は, レイトレーシングやLiDARシミュレーションなど, 様々な下流タスクに有意なポテンシャルを持つことを示した。

関連論文リスト

• StreetSurfGS: Scalable Urban Street Surface Reconstruction with Planar-based Gaussian Splatting [85.67616000086232]
  StreetSurfGSは、スケーラブルな街路景観の再構築に適したガウススプラッティングを利用するための最初の方法である。 StreetSurfGSは、平面ベースのオクツリー表現とセグメンテーショントレーニングを使用して、メモリコストを削減し、ユニークなカメラ特性に対応し、スケーラビリティを確保する。 スパースビューとマルチスケールの課題に対処するために、隣接する情報と長期情報を活用する2段階マッチング戦略を用いる。
  論文  参考訳（メタデータ） (2024-10-06T04:21:59Z)
• Spurfies: Sparse Surface Reconstruction using Local Geometry Priors [8.260048622127913]
  我々はスパースビュー表面再構成の新しい手法であるSpurfiesを紹介した。 それは、合成データに基づいて訓練された局所幾何学的先行情報を利用するために、外観と幾何学的情報を切り離す。 提案手法をDTUデータセット上で検証し,従来技術よりも表面品質が35%向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-29T14:02:47Z)
• Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces [34.831730064258494]
  本研究では,タッチデータ(局所深度マップ)を多視点視覚データと組み合わせ,表面再構成と新しいビュー合成を実現する新しいアプローチである触覚インフォームド3DGSを提案する。 タッチ位置の透過率を低下させる枠組みを作成することにより,表面の微細化を実現し,均一に滑らかな深度マップを実現する。 我々は、光沢と反射面を有する物体に対して評価を行い、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-03-29T16:30:17Z)
• SCILLA: SurfaCe Implicit Learning for Large Urban Area, a volumetric hybrid solution [4.216707699421813]
  SCILLAは2次元画像から大きな運転シーンを再構築するハイブリッドな表面学習手法である。 SCILLAは,様々な都市シナリオにおいて,正確な3次元表面のシーン表現を学べることを示す。
  論文  参考訳（メタデータ） (2024-03-15T14:31:17Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• DiViNeT: 3D Reconstruction from Disparate Views via Neural Template Regularization [7.488962492863031]
  本稿では3つの異なるRGB画像を入力として用いたボリュームレンダリングに基づくニューラルサーフェス再構成手法を提案する。 我々のキーとなる考え方は再建を規則化することであり、これは深刻な問題であり、スパースビューの間に大きなギャップを埋めることである。 提案手法は, 従来の手法の中でも, 疎外な視点で, 最高の復元品質を達成できる。
  論文  参考訳（メタデータ） (2023-06-07T18:05:14Z)
• Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
  シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。 本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。 我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
  論文  参考訳（メタデータ） (2022-08-04T14:13:35Z)
• MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction [72.05649682685197]
  最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。 これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。 近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
  論文  参考訳（メタデータ） (2022-06-01T17:58:15Z)
• Multi-view 3D Reconstruction of a Texture-less Smooth Surface of Unknown Generic Reflectance [86.05191217004415]
  表面反射率の不明なテクスチャレス物体の多視点再構成は難しい課題である。 本稿では,コライトスキャナーをベースとした,この問題に対するシンプルで堅牢な解法を提案する。
  論文  参考訳（メタデータ） (2021-05-25T01:28:54Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。