Fugu-MT 論文翻訳(概要): RoGUENeRF: A Robust Geometry-Consistent Universal Enhancer for NeRF

論文の概要: RoGUENeRF: A Robust Geometry-Consistent Universal Enhancer for NeRF

arxiv url: http://arxiv.org/abs/2403.11909v2
Date: Tue, 23 Jul 2024 10:02:52 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 22:53:21.565776
Title: RoGUENeRF: A Robust Geometry-Consistent Universal Enhancer for NeRF
Title（参考訳）: RoGUENeRF: NeRF用ロバストな幾何型ユニバーサルエンハンサー
Authors: Sibi Catley-Chandar, Richard Shaw, Gregory Slabaugh, Eduardo Perez-Pellitero,
Abstract要約: 2Dエンハンサーは、いくつかの詳細を回復するために事前訓練することができるが、シーン幾何学には依存しない。既存の3Dエンハンサーは、近隣のトレーニング画像から、一般化可能な方法で詳細を転送することができる。両パラダイムの長所を生かしたニューラルレンダリングエンハンサーであるRoGUENeRFを提案する。
参考スコア（独自算出の注目度）: 1.828790674925926
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in neural rendering have enabled highly photorealistic 3D scene reconstruction and novel view synthesis. Despite this progress, current state-of-the-art methods struggle to reconstruct high frequency detail, due to factors such as a low-frequency bias of radiance fields and inaccurate camera calibration. One approach to mitigate this issue is to enhance images post-rendering. 2D enhancers can be pre-trained to recover some detail but are agnostic to scene geometry and do not easily generalize to new distributions of image degradation. Conversely, existing 3D enhancers are able to transfer detail from nearby training images in a generalizable manner, but suffer from inaccurate camera calibration and can propagate errors from the geometry into rendered images. We propose a neural rendering enhancer, RoGUENeRF, which exploits the best of both paradigms. Our method is pre-trained to learn a general enhancer while also leveraging information from nearby training images via robust 3D alignment and geometry-aware fusion. Our approach restores high-frequency textures while maintaining geometric consistency and is also robust to inaccurate camera calibration. We show that RoGUENeRF substantially enhances the rendering quality of a wide range of neural rendering baselines, e.g. improving the PSNR of MipNeRF360 by 0.63dB and Nerfacto by 1.34dB on the real world 360v2 dataset.
Abstract（参考訳）: ニューラルレンダリングの最近の進歩は、高光写実性3Dシーンの再構築と新しいビュー合成を可能にしている。この進歩にもかかわらず、現在の最先端の手法は、放射界の低周波バイアスや不正確なカメラキャリブレーションなどの要因により、高周波詳細の再構築に苦慮している。この問題を緩和するための1つのアプローチは、レンダリング後のイメージを強化することである。 2Dエンハンサーは、いくつかの詳細を回復するために事前訓練することができるが、シーン幾何学には依存せず、画像劣化の新しい分布に容易に一般化することができない。逆に、既存の3Dエンハンサーは、近隣のトレーニング画像からの細部を一般化可能な方法で転送することができるが、不正確なカメラキャリブレーションに悩まされ、幾何学的誤差を描画画像に伝達することができる。両パラダイムの長所を生かしたニューラルレンダリングエンハンサーであるRoGUENeRFを提案する。本手法は,3次元アライメントと幾何認識融合により,近隣のトレーニング画像からの情報を活用するとともに,一般エンハンサーを学習するための事前訓練を行う。本手法は, 幾何整合性を維持しながら高周波テクスチャを復元すると共に, 不正確なカメラキャリブレーションにも頑健である。例えば、現実世界の360v2データセット上で、MipNeRF360のPSNRを0.63dB、Nerfactoを1.34dB改善する。

関連論文リスト

Evaluating geometric accuracy of NeRF reconstructions compared to SLAM method [0.0]
フォトグラメトリーは画像ベースの3D再構成を行うことができるが、計算コストが高く、複雑な幾何学やフォトリアリズムを復元するために非常に高密度な画像表現を必要とする。 NeRFは、スパース画像上でニューラルネットワークをトレーニングし、データをポーズすることで3Dシーン再構築を行い、少ない入力データでフォトグラム測定に優れた結果が得られる。縦型PVCシリンダの直径を推定するための2つのNeRFシーン再構成の評価を行った。
論文参考訳（メタデータ） (2024-07-15T21:04:11Z)
PGSR: Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction [37.14913599050765]
高忠実表面再構成を実現するために,高速平面型ガウススプラッティング再構成表現(PGSR)を提案する。次に、大域的幾何精度を維持するために、一視点幾何、多視点測光、幾何正則化を導入する。提案手法は3DGS法およびNeRF法よりも優れた高忠実度レンダリングと幾何再構成を維持しつつ,高速なトレーニングとレンダリングを実現する。
論文参考訳（メタデータ） (2024-06-10T17:59:01Z)
Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
論文参考訳（メタデータ） (2024-04-29T12:57:05Z)
2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文参考訳（メタデータ） (2024-03-26T17:21:24Z)
ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文参考訳（メタデータ） (2023-12-05T18:59:58Z)
Enhancing Neural Rendering Methods with Image Augmentations [59.00067936686825]
本研究では,3次元シーンの学習型ニューラルレンダリング法(NRM)における画像拡張の利用について検討した。トレーニング中に画像拡張を導入すると、幾何学的および測光的不整合などの課題が生じる。本実験は,NRMの学習において,光学的品質向上や表面再構成など,拡張を取り入れることの利点を実証するものである。
論文参考訳（メタデータ） (2023-06-15T07:18:27Z)
GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields [12.92658687936068]
我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
論文参考訳（メタデータ） (2023-06-09T17:12:35Z)
PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction [2.2369578015657954]
ニューラル・ラジアンス・フィールド(NeRF)は2次元画像から3次元シーンを再構成し、新しいビュー・シンセサイザー(NVS)のためのカメラポーズを可能にする NeRFはオーバーフィットからトレーニングの視点に苦しむことが多く、ジオメトリーの再構築は不十分である。本稿では,RGB画像とセマンティックマップのみを用いて,NeRFの3次元構造を改善する手法を提案する。
論文参考訳（メタデータ） (2023-05-26T13:26:46Z)
AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文参考訳（メタデータ） (2022-11-17T17:22:28Z)
NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文参考訳（メタデータ） (2022-03-21T18:56:35Z)
Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文参考訳（メタデータ） (2021-05-16T16:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。