論文の概要: VGOS: Voxel Grid Optimization for View Synthesis from Sparse Inputs

• arxiv url: http://arxiv.org/abs/2304.13386v1
• Date: Wed, 26 Apr 2023 08:52:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 14:59:17.749215
• Title: VGOS: Voxel Grid Optimization for View Synthesis from Sparse Inputs
• Title（参考訳）: VGOS:スパース入力からのビュー合成のためのボクセルグリッド最適化
• Authors: Jiakai Sun, Zhanjie Zhang, Jiafu Chen, Guangyuan Li, Boyan Ji, Lei Zhao, Wei Xing
• Abstract要約: VGOSはスパースインプット(3-10ビュー)からの高速(3-5分)放射場再構成のためのアプローチ 周辺ボクセルの最適化を抑えることでオーバーフィッティングを防止できるインクリメンタルボクセルトレーニング戦略を導入する。 超高速収束によるスパース入力に対して,VGOSが最先端の性能を達成することを示す実験を行った。
• 参考スコア（独自算出の注目度）: 9.53678616398594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) has shown great success in novel view synthesis due to its state-of-the-art quality and flexibility. However, NeRF requires dense input views (tens to hundreds) and a long training time (hours to days) for a single scene to generate high-fidelity images. Although using the voxel grids to represent the radiance field can significantly accelerate the optimization process, we observe that for sparse inputs, the voxel grids are more prone to overfitting to the training views and will have holes and floaters, which leads to artifacts. In this paper, we propose VGOS, an approach for fast (3-5 minutes) radiance field reconstruction from sparse inputs (3-10 views) to address these issues. To improve the performance of voxel-based radiance field in sparse input scenarios, we propose two methods: (a) We introduce an incremental voxel training strategy, which prevents overfitting by suppressing the optimization of peripheral voxels in the early stage of reconstruction. (b) We use several regularization techniques to smooth the voxels, which avoids degenerate solutions. Experiments demonstrate that VGOS achieves state-of-the-art performance for sparse inputs with super-fast convergence. Code will be available at https://github.com/SJoJoK/VGOS.
• Abstract（参考訳）: NeRF(Neural Radiance Fields)は、最先端の品質と柔軟性のために、新しいビュー合成において大きな成功を収めている。 しかし、NeRFは高忠実度画像を生成するために、濃密な入力ビュー(数十から数百)と長い訓練時間(数時間から数日)を必要とする。 放射界を表すためにボクセル格子を用いると、最適化プロセスが大幅に加速するが、スパース入力の場合、ボクセル格子はトレーニングビューに過度に適合する傾向があり、穴やフローターを持ち、アーティファクトにつながることが観察される。 本稿では,これらの問題に対処するために,スパース入力(3-10ビュー)から高速(3-5分)の放射場再構成を行うVGOSを提案する。 スパース入力シナリオにおけるvoxelベースのラミアンスフィールドの性能向上のために,2つの手法を提案する。 a) 再建初期における周辺ボクセルの最適化を抑制することにより,過剰フィッティングを防止できる漸進的なボクセルトレーニング戦略を導入する。 b) いくつかの正則化手法を用いてボクセルを滑らかにし, 退化解を避ける。 超高速収束によるスパース入力に対して,VGOSが最先端の性能を達成することを示す実験を行った。 コードはhttps://github.com/SJoJoK/VGOSで入手できる。

関連論文リスト

• Sparse Voxels Rasterization: Real-time High-fidelity Radiance Field Rendering [37.48219196092378]
  ニューラルネットワークや3Dガウスアンを使わずにスパースボクセル上に放射化処理を組み込んだ効率的な放射場レンダリングアルゴリズムを提案する。 我々は、シーン内の様々な詳細レベルにスパースボクセルを適応的に適合させ、高いレンダリングフレームレートを達成しながら詳細を忠実に再現する。 提案手法は,4db以上のPSNRと10倍以上のFPS高速化により,従来の神経フリーなボクセルグリッド表現を改善した。
  論文  参考訳（メタデータ） (2024-12-05T18:59:11Z)
• DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
  新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。 大規模な環境下では、復元の質が悪くなる場合が少なくない。 本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
  論文  参考訳（メタデータ） (2024-11-19T07:51:44Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• Spatial Annealing for Efficient Few-shot Neural Rendering [73.49548565633123]
  我々はtextbfSpatial textbf Annealing regularized textbfNeRF (textbfSANeRF) という,正確で効率的な数発のニューラルレンダリング手法を導入する。 単に1行のコードを追加することで、SANeRFは、現在の数ショットのニューラルレンダリング方法と比較して、より優れたレンダリング品質とはるかに高速な再構築速度を提供する。
  論文  参考訳（メタデータ） (2024-06-12T02:48:52Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [73.50359502037232]
  VoxNeRFは、ニューラル室内再構成と新しいビュー合成の質と効率を高めるための新しいアプローチである。 本稿では,最も関連性の高い領域に計算資源を割り当てる効率的なボクセル誘導サンプリング手法を提案する。 私たちのアプローチは、ScanNetとScanNet++に関する広範な実験で検証されています。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse Gradient Descent [23.4659443904092]
  EffLiFeは、スパースビュー画像から高品質な光場をリアルタイムで生成する新しい光場最適化手法である。 本手法は,最先端のオフライン手法よりも平均100倍高速な視覚的品質を実現する。
  論文  参考訳（メタデータ） (2023-07-06T14:31:01Z)
• DARF: Depth-Aware Generalizable Neural Radiance Field [51.29437249009986]
  本稿では,Depth-Aware Dynamic Smpling(DADS)戦略を用いたDARF(Depth-Aware Generalizable Neural Radiance Field)を提案する。 筆者らのフレームワークは,数枚の入力画像で,画素レベルと幾何学レベルの両方の見えないシーンを推測する。 DARFは、最先端の一般化可能なNeRF法と比較して、レンダリング品質と深さ推定を改善しつつ、サンプルを50%削減する。
  論文  参考訳（メタデータ） (2022-12-05T14:00:59Z)
• Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction [42.3230709881297]
  画像の集合からシーンごとの放射界を再構成する超高速収束手法を提案する。 提案手法はNeRFに比較可能な品質を実現し,1つのGPUで15分以内でスクラッチから急速に収束する。
  論文  参考訳（メタデータ） (2021-11-22T14:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。