論文の概要: RL Dreams: Policy Gradient Optimization for Score Distillation based 3D Generation

• arxiv url: http://arxiv.org/abs/2312.04806v1
• Date: Fri, 8 Dec 2023 02:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 16:24:22.009379
• Title: RL Dreams: Policy Gradient Optimization for Score Distillation based 3D Generation
• Title（参考訳）: RLドリーム: スコア蒸留に基づく3次元生成のための政策勾配最適化
• Authors: Aradhya N. Mathur, Phu Pham, Aniket Bera, Ojaswa Sharma
• Abstract要約: スコア蒸留サンプリング(SDS)に基づくレンダリングは、3Dアセット生成を大幅に改善した。 DDPO3Dは2次元拡散モデルから3次元レンダリングを改善するために、審美的スコアリングを伴うタンデムのポリシー勾配法を用いている。 提案手法は, 種々の報酬関数を生成過程に組み込むための, 蒸留法と互換性がある。
• 参考スコア（独自算出の注目度）: 15.154441074606101
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D generation has rapidly accelerated in the past decade owing to the progress in the field of generative modeling. Score Distillation Sampling (SDS) based rendering has improved 3D asset generation to a great extent. Further, the recent work of Denoising Diffusion Policy Optimization (DDPO) demonstrates that the diffusion process is compatible with policy gradient methods and has been demonstrated to improve the 2D diffusion models using an aesthetic scoring function. We first show that this aesthetic scorer acts as a strong guide for a variety of SDS-based methods and demonstrates its effectiveness in text-to-3D synthesis. Further, we leverage the DDPO approach to improve the quality of the 3D rendering obtained from 2D diffusion models. Our approach, DDPO3D, employs the policy gradient method in tandem with aesthetic scoring. To the best of our knowledge, this is the first method that extends policy gradient methods to 3D score-based rendering and shows improvement across SDS-based methods such as DreamGaussian, which are currently driving research in text-to-3D synthesis. Our approach is compatible with score distillation-based methods, which would facilitate the integration of diverse reward functions into the generative process. Our project page can be accessed via https://ddpo3d.github.io.
• Abstract（参考訳）: 3D生成は、生成モデル分野の進歩により、過去10年間で急速に加速している。 スコア蒸留サンプリング(SDS)に基づくレンダリングは、3Dアセット生成を大幅に改善した。 さらに,最近のDDPO (Denoising Diffusion Policy Optimization) 研究は,拡散過程が政策勾配法と互換性があることを示し,審美的スコアリング関数を用いて2次元拡散モデルを改善することを実証している。 まず,この美的スコアラが様々なSDS手法の強力なガイドとして機能し,テキストから3D合成における有効性を示す。 さらに,DDPO法を用いて2次元拡散モデルから得られた3次元レンダリングの品質を向上させる。 DDPO3Dのアプローチは,審美的評価を伴うタンデムのポリシー勾配法を用いている。 我々の知る限りでは、この手法はポリシー勾配法を3Dスコアベースレンダリングに拡張し、現在テキストから3D合成の研究を推進しているDreamGaussianのようなSDSベースの手法にまたがる改善を示す最初の方法である。 我々のアプローチはスコア蒸留法と互換性があり、様々な報酬関数を生成プロセスに統合しやすくする。 プロジェクトページはhttps://ddpo3d.github.ioからアクセスできます。

関連論文リスト

• MVGaussian: High-Fidelity text-to-3D Content Generation with Multi-View Guidance and Surface Densification [13.872254142378772]
  本稿では,テキスト・ツー・3Dコンテンツ生成のための統合フレームワークを提案する。 提案手法は3次元モデルの構造を反復的に形成するために多視点誘導を利用する。 また,表面近傍にガウスを配向させる新しい密度化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-09-10T16:16:34Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
  本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。 提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。 3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-18T17:54:34Z)
• BoostDream: Efficient Refining for High-Quality Text-to-3D Generation from Multi-View Diffusion [0.0]
  BoostDreamは、粗い3D資産を高品質に変換するために設計された、高効率なプラグアンドプレイ3D精製手法である。 本研究では, フィードフォワード生成により得られた3次元アセットと異なる表現に適合する3次元モデル蒸留を導入する。 新たな多視点SDS損失を設計し、多視点認識2次元拡散モデルを用いて3次元資産を洗練させる。
  論文  参考訳（メタデータ） (2024-01-30T05:59:00Z)
• Text-to-3D with Classifier Score Distillation [80.14832887529259]
  クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。 我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。 我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T10:25:40Z)
• HiFi-123: Towards High-fidelity One Image to 3D Content Generation [64.81863143986384]
  HiFi-123は高忠実で多視点で一貫した3D生成のために設計された手法である。 本稿では,拡散型ゼロショットノベルビュー合成法の忠実度を大幅に向上する参照ガイド型新規ビュー拡張(RGNV)技術を提案する。 また,新たにRGSD(Reference-Guided State Distillation)を施行した。
  論文  参考訳（メタデータ） (2023-10-10T16:14:20Z)
• DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
  本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。 我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。 ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
  論文  参考訳（メタデータ） (2023-09-28T17:55:05Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。