論文の概要: VGOS: Voxel Grid Optimization for View Synthesis from Sparse Inputs

• arxiv url: http://arxiv.org/abs/2304.13386v2
• Date: Fri, 2 Jun 2023 05:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 19:28:57.078311
• Title: VGOS: Voxel Grid Optimization for View Synthesis from Sparse Inputs
• Title（参考訳）: VGOS:スパース入力からのビュー合成のためのボクセルグリッド最適化
• Authors: Jiakai Sun, Zhanjie Zhang, Jiafu Chen, Guangyuan Li, Boyan Ji, Lei Zhao, Wei Xing, Huaizhong Lin
• Abstract要約: VGOSはスパースインプット(3-10ビュー)からの高速(3-5分)放射場再構成のためのアプローチ 周辺ボクセルの最適化を抑えることでオーバーフィッティングを防止できるインクリメンタルボクセルトレーニング戦略を導入する。 超高速収束によるスパース入力に対して,VGOSが最先端の性能を達成することを示す実験を行った。
• 参考スコア（独自算出の注目度）: 9.374561178958404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) has shown great success in novel view synthesis due to its state-of-the-art quality and flexibility. However, NeRF requires dense input views (tens to hundreds) and a long training time (hours to days) for a single scene to generate high-fidelity images. Although using the voxel grids to represent the radiance field can significantly accelerate the optimization process, we observe that for sparse inputs, the voxel grids are more prone to overfitting to the training views and will have holes and floaters, which leads to artifacts. In this paper, we propose VGOS, an approach for fast (3-5 minutes) radiance field reconstruction from sparse inputs (3-10 views) to address these issues. To improve the performance of voxel-based radiance field in sparse input scenarios, we propose two methods: (a) We introduce an incremental voxel training strategy, which prevents overfitting by suppressing the optimization of peripheral voxels in the early stage of reconstruction. (b) We use several regularization techniques to smooth the voxels, which avoids degenerate solutions. Experiments demonstrate that VGOS achieves state-of-the-art performance for sparse inputs with super-fast convergence. Code will be available at https://github.com/SJoJoK/VGOS.
• Abstract（参考訳）: NeRF(Neural Radiance Fields)は、最先端の品質と柔軟性のために、新しいビュー合成において大きな成功を収めている。 しかし、NeRFは高忠実度画像を生成するために、濃密な入力ビュー(数十から数百)と長い訓練時間(数時間から数日)を必要とする。 放射界を表すためにボクセル格子を用いると、最適化プロセスが大幅に加速するが、スパース入力の場合、ボクセル格子はトレーニングビューに過度に適合する傾向があり、穴やフローターを持ち、アーティファクトにつながることが観察される。 本稿では,これらの問題に対処するために,スパース入力(3-10ビュー)から高速(3-5分)の放射場再構成を行うVGOSを提案する。 スパース入力シナリオにおけるvoxelベースのラミアンスフィールドの性能向上のために,2つの手法を提案する。 a) 再建初期における周辺ボクセルの最適化を抑制することにより,過剰フィッティングを防止できる漸進的なボクセルトレーニング戦略を導入する。 b) いくつかの正則化手法を用いてボクセルを滑らかにし, 退化解を避ける。 超高速収束によるスパース入力に対して,VGOSが最先端の性能を達成することを示す実験を行った。 コードはhttps://github.com/SJoJoK/VGOSで入手できる。

関連論文リスト

• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [51.49008959209671]
  本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。 我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。 我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse Gradient Descent [23.4659443904092]
  EffLiFeは、スパースビュー画像から高品質な光場をリアルタイムで生成する新しい光場最適化手法である。 本手法は,最先端のオフライン手法よりも平均100倍高速な視覚的品質を実現する。
  論文  参考訳（メタデータ） (2023-07-06T14:31:01Z)
• Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
  本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。 我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。 実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T16:50:19Z)
• Voxurf: Voxel-based Efficient and Accurate Neural Surface Reconstruction [142.61256012419562]
  本稿では,ボクセルをベースとした表面再構成手法であるVoxurfを提案する。 ボクサーフは,(1)コヒーレントな粗い形状を達成し,細部を連続的に再現する2段階の訓練手順,2)色-幾何学的依存性を維持する2色ネットワーク,3)ボクセル間の情報伝達を促進する階層的幾何学的特徴などを通じて,上記の課題に対処する。
  論文  参考訳（メタデータ） (2022-08-26T14:48:02Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction [42.3230709881297]
  画像の集合からシーンごとの放射界を再構成する超高速収束手法を提案する。 提案手法はNeRFに比較可能な品質を実現し,1つのGPUで15分以内でスクラッチから急速に収束する。
  論文  参考訳（メタデータ） (2021-11-22T14:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。