論文の概要: NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction

• arxiv url: http://arxiv.org/abs/2212.05231v3
• Date: Thu, 16 Nov 2023 22:00:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 20:34:46.677563
• Title: NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view Reconstruction
• Title（参考訳）: NeuS2:多視点再構成のためのニューラルネットワーク表面の高速学習
• Authors: Yiming Wang, Qin Han, Marc Habermann, Kostas Daniilidis, Christian Theobalt, Lingjie Liu
• Abstract要約: 我々はNeuS2と呼ばれる高速な神経表面再構成手法を提案する。 NeuS2は、再構成品質を損なうことなく、加速度の2桁の精度向上を実現している。 本研究では,動的シーンの高速トレーニングのための手法を拡張し,インクリメンタルトレーニング戦略と新たなグローバルトランスフォーメーション予測コンポーネントを提案する。
• 参考スコア（独自算出の注目度）: 95.37644907940857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent methods for neural surface representation and rendering, for example NeuS, have demonstrated the remarkably high-quality reconstruction of static scenes. However, the training of NeuS takes an extremely long time (8 hours), which makes it almost impossible to apply them to dynamic scenes with thousands of frames. We propose a fast neural surface reconstruction approach, called NeuS2, which achieves two orders of magnitude improvement in terms of acceleration without compromising reconstruction quality. To accelerate the training process, we parameterize a neural surface representation by multi-resolution hash encodings and present a novel lightweight calculation of second-order derivatives tailored to our networks to leverage CUDA parallelism, achieving a factor two speed up. To further stabilize and expedite training, a progressive learning strategy is proposed to optimize multi-resolution hash encodings from coarse to fine. We extend our method for fast training of dynamic scenes, with a proposed incremental training strategy and a novel global transformation prediction component, which allow our method to handle challenging long sequences with large movements and deformations. Our experiments on various datasets demonstrate that NeuS2 significantly outperforms the state-of-the-arts in both surface reconstruction accuracy and training speed for both static and dynamic scenes. The code is available at our website: https://vcai.mpi-inf.mpg.de/projects/NeuS2/ .
• Abstract（参考訳）: ニューラルサーフェス表現とレンダリングの最近の手法、例えばNeuSは、静的シーンの驚くほど高品質な再構成を実証している。 しかし、NeuSのトレーニングには非常に時間がかかる(8時間)ため、数千フレームのダイナミックなシーンに適用することはほとんど不可能である。 そこで本研究では, 高速神経表面再構成法であるneus2を提案し, 再構成品質を損なうことなく2桁の高速化を実現する。 トレーニングプロセスを高速化するために,マルチレゾリューションハッシュエンコーディングによる神経表面表現のパラメータ化を行い,ネットワークに調整された2次微分の新たな軽量計算を行い,cuda並列性を利用し,2倍の高速化を実現する。 さらに訓練の安定化と迅速化を図るため,多解像度ハッシュ符号化を粗い値から細かい値に最適化するプログレッシブラーニング戦略を提案する。 提案手法は,動的シーンを高速に訓練するための手法を拡張し,新しいグローバルトランスフォーメーション予測コンポーネントとインクリメンタルなトレーニング戦略を提案する。 各種データセットを用いた実験により,NuS2は静的シーンと動的シーンの両方において,表面再構成精度とトレーニング速度の両方において,最先端の技術を著しく上回っていることが示された。 コードは、私たちのWebサイトで入手できる。

関連論文リスト

• Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
  AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。 連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。 本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
  論文  参考訳（メタデータ） (2024-11-10T21:30:16Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• FastMESH: Fast Surface Reconstruction by Hexagonal Mesh-based Neural Rendering [8.264851594332677]
  我々は、光線とメッシュの交差点でのみサンプルをサンプリングするFastMESHという、効果的なメッシュベースのニューラルネットワークレンダリング手法を提案する。 提案手法は, 再建と新規なビュー合成の両面において, 最先端の成果を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-05-29T02:43:14Z)
• Temporal Interpolation Is All You Need for Dynamic Neural Radiance Fields [4.863916681385349]
  本研究では,時間的特徴ベクトルに基づいて動的シーンのニューラルネットワークを学習する手法を提案する。 ニューラル表現では、複数のニューラルネットワークモジュールを介して時空間入力を抽出し、時間フレームに基づいてそれらを補間する。 グリッド表現では、時空間の特徴は4次元のハッシュグリッドを通して学習され、トレーニング時間を大幅に短縮する。
  論文  参考訳（メタデータ） (2023-02-18T12:01:23Z)
• Voxurf: Voxel-based Efficient and Accurate Neural Surface Reconstruction [142.61256012419562]
  本稿では,ボクセルをベースとした表面再構成手法であるVoxurfを提案する。 ボクサーフは,(1)コヒーレントな粗い形状を達成し,細部を連続的に再現する2段階の訓練手順,2)色-幾何学的依存性を維持する2色ネットワーク,3)ボクセル間の情報伝達を促進する階層的幾何学的特徴などを通じて,上記の課題に対処する。
  論文  参考訳（メタデータ） (2022-08-26T14:48:02Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Neural Adaptive SCEne Tracing [24.781844909539686]
  NAScenTは,ハイブリッド・明示的ニューラル表現を直接訓練した最初のニューラルレンダリング手法である。 NAScenTは、UAVが捕獲した屋外環境のような、大きくて人口の少ないボリュームを含む、困難なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2022-02-28T10:27:23Z)
• NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction [88.02850205432763]
  物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。 DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。 本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。 マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
  論文  参考訳（メタデータ） (2021-06-20T12:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。