Fugu-MT 論文翻訳(概要): GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields

論文の概要: GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields

arxiv url: http://arxiv.org/abs/2401.00616v3
Date: Fri, 29 Mar 2024 11:27:32 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 19:57:29.410980
Title: GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields
Title（参考訳）: GD^2-NeRF:GANによる生成的詳細補償と1ショット一般化可能なニューラルラディアンス場への拡散
Authors: Xiao Pan, Zongxin Yang, Shuai Bai, Yi Yang,
Abstract要約: 本稿では,GANと拡散を用いた生成的詳細補償フレームワークを提案する。このフレームワークは、推論時の微調整なしと、鮮明な検証可能な詳細の両方である。合成データセットと実世界のデータセットの両方の実験では、GD$2$-NeRFはシーンごとの微調整なしに細部を著しく改善している。
参考スコア（独自算出の注目度）: 41.63632669921749
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we focus on the One-shot Novel View Synthesis (O-NVS) task which targets synthesizing photo-realistic novel views given only one reference image per scene. Previous One-shot Generalizable Neural Radiance Fields (OG-NeRF) methods solve this task in an inference-time finetuning-free manner, yet suffer the blurry issue due to the encoder-only architecture that highly relies on the limited reference image. On the other hand, recent diffusion-based image-to-3d methods show vivid plausible results via distilling pre-trained 2D diffusion models into a 3D representation, yet require tedious per-scene optimization. Targeting these issues, we propose the GD$^2$-NeRF, a Generative Detail compensation framework via GAN and Diffusion that is both inference-time finetuning-free and with vivid plausible details. In detail, following a coarse-to-fine strategy, GD$^2$-NeRF is mainly composed of a One-stage Parallel Pipeline (OPP) and a 3D-consistent Detail Enhancer (Diff3DE). At the coarse stage, OPP first efficiently inserts the GAN model into the existing OG-NeRF pipeline for primarily relieving the blurry issue with in-distribution priors captured from the training dataset, achieving a good balance between sharpness (LPIPS, FID) and fidelity (PSNR, SSIM). Then, at the fine stage, Diff3DE further leverages the pre-trained image diffusion models to complement rich out-distribution details while maintaining decent 3D consistency. Extensive experiments on both the synthetic and real-world datasets show that GD$^2$-NeRF noticeably improves the details while without per-scene finetuning.
Abstract（参考訳）: 本稿では,ワンショット・ノベルビュー・シンセサイザー(O-NVS)タスクに着目し,シーン毎に1つの参照画像のみを与えられた写真リアリスティック・ノベルビューの合成を目的とした。従来のワンショット汎用ニューラルラジアンスフィールド(OG-NeRF)法は、このタスクを推論時の微調整のない方法で解決するが、限られた参照画像に強く依存するエンコーダのみのアーキテクチャのため、曖昧な問題に悩まされる。一方,近年の拡散法に基づく画像-3d法では,事前学習した2次元拡散モデルを3次元表現に蒸留することで,鮮明な可視性を示す。これらの問題をターゲットに、GD$^2$-NeRF(GANとDiffusionによる生成的詳細補償フレームワーク)を提案する。 GD$^2$-NeRFは主に1段並列パイプライン(OPP)と3D一貫性Detail Enhancer(Diff3DE)で構成されている。粗い段階では、OPPはまずGANモデルを既存のOG-NeRFパイプラインに効率よく挿入し、トレーニングデータセットから取得した非分配先との曖昧な問題を主に軽減し、シャープネス(LPIPS, FID)とフィデリティ(PSNR, SSIM)のバランスよく達成する。そして、Diff3DEは、さらに訓練済みの画像拡散モデルを活用して、十分な3D一貫性を維持しながら、リッチなアウトディストリビューションの詳細を補完する。 GD$^2$-NeRFは、合成データセットと実世界のデータセットの両方に対する大規模な実験により、シーンごとの微調整なしに、細部を著しく改善することを示した。

関連論文リスト

DiSR-NeRF: Diffusion-Guided View-Consistent Super-Resolution NeRF [50.458896463542494]
DiSR-NeRFは、ビュー一貫性を持つ超解像(SR)NeRFのための拡散誘導フレームワークである。我々は,NeRFの固有多視点整合性により不整合問題を緩和するイテレーティブ3Dシンクロナイゼーション(I3DS)を提案する。
論文参考訳（メタデータ） (2024-04-01T03:06:23Z)
Text-Image Conditioned Diffusion for Consistent Text-to-3D Generation [28.079441901818296]
我々は,粒度の細かい視野の整合性を明示したNeRF(Neural Radiance Fields)のテキスト・ツー・3D手法を提案する。本手法は,既存のテキスト・ツー・3D法に対して最先端の性能を実現する。
論文参考訳（メタデータ） (2023-12-19T01:09:49Z)
StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文参考訳（メタデータ） (2023-12-02T02:27:58Z)
Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views [47.215089338101066]
スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
論文参考訳（メタデータ） (2023-08-27T11:52:00Z)
Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文参考訳（メタデータ） (2023-04-13T17:59:01Z)
NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-20T17:12:00Z)
NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors [24.05480789681139]
本研究では,2次元拡散モデルから一般的な画像の事前処理が可能な単一視点NeRF合成フレームワークNeRDiを提案する。市販の視覚言語モデルを活用し、拡散モデルに条件付け入力として2節言語ガイダンスを導入する。 In-the-wild画像に対するゼロショットNeRF合成における一般化可能性も示す。
論文参考訳（メタデータ） (2022-12-06T19:00:07Z)
DiffRF: Rendering-Guided 3D Radiance Field Diffusion [18.20324411024166]
本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。 2次元拡散モデルとは対照的に、我々のモデルは多視点一貫した先行情報を学習し、自由視点合成と正確な形状生成を可能にする。
論文参考訳（メタデータ） (2022-12-02T14:37:20Z)
Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文参考訳（メタデータ） (2022-07-04T02:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。