論文の概要: DiSR-NeRF: Diffusion-Guided View-Consistent Super-Resolution NeRF
- arxiv url: http://arxiv.org/abs/2404.00874v1
- Date: Mon, 1 Apr 2024 03:06:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 23:36:01.006361
- Title: DiSR-NeRF: Diffusion-Guided View-Consistent Super-Resolution NeRF
- Title（参考訳）: DiSR-NeRF:拡散誘導型高分解能NRF
- Authors: Jie Long Lee, Chen Li, Gim Hee Lee,
- Abstract要約: DiSR-NeRFは、ビュー一貫性を持つ超解像(SR)NeRFのための拡散誘導フレームワークである。
我々は,NeRFの固有多視点整合性により不整合問題を緩和するイテレーティブ3Dシンクロナイゼーション(I3DS)を提案する。
- 参考スコア（独自算出の注目度）: 50.458896463542494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DiSR-NeRF, a diffusion-guided framework for view-consistent super-resolution (SR) NeRF. Unlike prior works, we circumvent the requirement for high-resolution (HR) reference images by leveraging existing powerful 2D super-resolution models. Nonetheless, independent SR 2D images are often inconsistent across different views. We thus propose Iterative 3D Synchronization (I3DS) to mitigate the inconsistency problem via the inherent multi-view consistency property of NeRF. Specifically, our I3DS alternates between upscaling low-resolution (LR) rendered images with diffusion models, and updating the underlying 3D representation with standard NeRF training. We further introduce Renoised Score Distillation (RSD), a novel score-distillation objective for 2D image resolution. Our RSD combines features from ancestral sampling and Score Distillation Sampling (SDS) to generate sharp images that are also LR-consistent. Qualitative and quantitative results on both synthetic and real-world datasets demonstrate that our DiSR-NeRF can achieve better results on NeRF super-resolution compared with existing works. Code and video results available at the project website.
- Abstract（参考訳）: 本稿では、ビュー一貫性超解像(SR)NeRFのための拡散誘導フレームワークであるDiSR-NeRFを提案する。
従来と異なり,既存の高解像度2次元超解像モデルを活用することで,高解像度(HR)参照画像の要求を回避する。
それでも、独立したSR 2D画像は、しばしば異なる視点で矛盾する。
そこで我々は,NeRFの固有多視点整合性によって不整合問題を緩和するために,I3DS(Iterative 3D Synchronization)を提案する。
特に、我々のI3DSは、高解像度(LR)レンダリング画像を拡散モデルで置き換え、基礎となる3D表現を標準のNeRFトレーニングで更新する。
さらに2次元画像分解のための新しいスコア蒸留目標であるRenoised Score Distillation (RSD)を紹介する。
我々のRSDは、祖先サンプリングとSDS(Score Distillation Sampling)の機能を組み合わせて、LR一貫性のあるシャープな画像を生成する。
合成と実世界の両方のデータセットの質的および定量的な結果から、我々のDiSR-NeRFは、既存の研究と比較して、NeRF超解像においてより良い結果が得られることが示される。
コードとビデオはプロジェクトのWebサイトで公開されている。
関連論文リスト
- Advancing Super-Resolution in Neural Radiance Fields via Variational Diffusion Strategies [0.0]
本稿では,ニューラルレンダリングにおけるビュー一貫性超解像(SR)のための拡散誘導フレームワークを提案する。
提案手法は,既存の2次元SRモデルと,変分スコア蒸留(VSD)やLoRAファインチューニングヘルパなどの高度な技術を組み合わせたものである。
論文 参考訳（メタデータ） (2024-10-22T00:02:26Z) - ASSR-NeRF: Arbitrary-Scale Super-Resolution on Voxel Grid for High-Quality Radiance Fields Reconstruction [27.21399221644529]
暗黙的あるいは明示的な表現を持つ放射場を構築することにより、NeRFに基づく3Dシーンの再構成を行う。
超高解像度ノベルビュー合成のための新しいフレームワークであるArbitrary-Scale Super-Resolution NeRF (ASSR-NeRF)を提案する。
論文 参考訳（メタデータ） (2024-06-28T17:22:33Z) - Super-NeRF: View-consistent Detail Generation for NeRF super-resolution [39.58800919345451]
我々は,低分解能入力のみから高分解能NeRFを生成するために,Super-NeRFと呼ばれるNeRF超解像法を提案する。
Super-NeRFは高解像度ディテール生成とクロスビュー整合性において最先端のNeRF超解像性能を実現する。
論文 参考訳（メタデータ） (2023-04-26T12:54:40Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳（メタデータ） (2023-04-13T17:59:01Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-20T17:12:00Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳（メタデータ） (2022-07-04T02:27:07Z) - NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。
提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
論文 参考訳（メタデータ） (2021-12-03T07:33:47Z) - Frequency Consistent Adaptation for Real World Super Resolution [64.91914552787668]
実シーンにスーパーリゾリューション(SR)法を適用する際に周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を提案する。
監視されていない画像から劣化カーネルを推定し、対応するLow-Resolution (LR)画像を生成する。
ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。
論文 参考訳（メタデータ） (2020-12-18T08:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。