論文の概要: Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2312.04820v1
• Date: Fri, 8 Dec 2023 03:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 16:14:24.729687
• Title: Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting
• Title（参考訳）: 3D生成のためのデノイングスコアの最適化を学ぶ:NeRFおよび3Dガウススプレイティングに先立つ統一的で改良された拡散
• Authors: Xiaofeng Yang, Yiwen Chen, Cheng Chen, Chi Zhang, Yi Xu, Xulei Yang, Fayao Liu and Guosheng Lin
• Abstract要約: 本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
• 参考スコア（独自算出の注目度）: 60.393072253444934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a unified framework aimed at enhancing the diffusion priors for 3D generation tasks. Despite the critical importance of these tasks, existing methodologies often struggle to generate high-caliber results. We begin by examining the inherent limitations in previous diffusion priors. We identify a divergence between the diffusion priors and the training procedures of diffusion models that substantially impairs the quality of 3D generation. To address this issue, we propose a novel, unified framework that iteratively optimizes both the 3D model and the diffusion prior. Leveraging the different learnable parameters of the diffusion prior, our approach offers multiple configurations, affording various trade-offs between performance and implementation complexity. Notably, our experimental results demonstrate that our method markedly surpasses existing techniques, establishing new state-of-the-art in the realm of text-to-3D generation. Furthermore, our approach exhibits impressive performance on both NeRF and the newly introduced 3D Gaussian Splatting backbones. Additionally, our framework yields insightful contributions to the understanding of recent score distillation methods, such as the VSD and DDS loss.
• Abstract（参考訳）: 本稿では,3次元生成タスクの拡散優先性向上を目的とした統一フレームワークを提案する。 これらのタスクの重要な重要性にもかかわらず、既存の方法論はしばしば高い評価結果を生み出すのに苦労している。 従来の拡散前の制約について検討することから始める。 拡散前処理と3次元生成の質を実質的に損なう拡散モデルの訓練手順との相違を同定する。 この問題に対処するために,3次元モデルと拡散前の拡散を反復的に最適化する新しい統一フレームワークを提案する。 従来の拡散の異なる学習可能なパラメータを利用することで、我々のアプローチは複数の構成を提供し、パフォーマンスと実装の複雑さの間に様々なトレードオフをもたらす。 特に,本手法が既存の手法を著しく上回っており,テキストから3d生成の領域において新たな最先端技術を確立することを実証した。 さらに,NeRFと新たに導入された3D Gaussian Splattingのバックボーンに優れた性能を示す。 さらに,vsd や dds の損失など,最近のスコア蒸留法の理解に対する洞察的な貢献も得られている。

関連論文リスト

• FlowDreamer: Exploring High Fidelity Text-to-3D Generation via Rectified Flow [17.919092916953183]
  本研究では,フロードレーマーという新しいフレームワークを提案し,よりリッチなテキストの詳細とより高速なコンバージェンスで高忠実度な結果を得る。 鍵となる洞察は、修正流れモデルの結合性と可逆性を利用して、対応する雑音を探索することである。 我々は,同じ軌道に沿って3次元モデルを最適化するために,新しい一様マッチング結合(UCM)損失を導入する。
  論文  参考訳（メタデータ） (2024-08-09T11:40:20Z)
• Deep Diffusion Image Prior for Efficient OOD Adaptation in 3D Inverse Problems [61.85478918618346]
  本稿では,従来のディープイメージに形式的な接続を導入することで,最近のSCD適応法を一般化するDDIPを提案する。 本稿では,D3IPと呼ばれる3次元計測のための効率的な適応手法を提案し,DDIPを桁違いに高速化する。 本手法は, 学習対象とは大きく異なるファントム画像のみを用いて, 事前学習した生成的画像から多種多様な3次元再構成タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2024-07-15T12:00:46Z)
• Text-to-Image Rectified Flow as Plug-and-Play Priors [52.586838532560755]
  整流流は、ソースからターゲット分布への線形進行を強制する新しい生成モデルのクラスである。 補正フローアプローチが生成品質と効率を上回り,推論ステップを少なくすることを示した。 また,画像のインバージョンや編集における競合性能も示す。
  論文  参考訳（メタデータ） (2024-06-05T14:02:31Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
  本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。 提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
  論文  参考訳（メタデータ） (2023-12-11T18:59:58Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• DiffHPE: Robust, Coherent 3D Human Pose Lifting with Diffusion [54.0238087499699]
  拡散モデルにより,人間のポーズ推定精度,ロバスト性,コヒーレンス性が向上することを示す。 3D-HPEにおける拡散モデルを利用する新しい戦略であるDiffHPEを紹介する。 以上の結果から, 独立拡散モデルにより, 予測可能な性能が得られる一方で, 教師付きモデルと組み合わせて精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-09-04T12:54:10Z)
• HD-Fusion: Detailed Text-to-3D Generation Leveraging Multiple Noise Estimation [43.83459204345063]
  本稿では,複数の雑音推定プロセスと事前学習した2次元拡散を併用した新しい手法を提案する。 その結果,提案手法はベースラインと比較して高品質な細部を生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-30T09:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。