論文の概要: FlowDreamer: Exploring High Fidelity Text-to-3D Generation via Rectified Flow

• arxiv url: http://arxiv.org/abs/2408.05008v3
• Date: Wed, 9 Oct 2024 06:05:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 12:00:36.087765
• Title: FlowDreamer: Exploring High Fidelity Text-to-3D Generation via Rectified Flow
• Title（参考訳）: FlowDreamer: 整流による高忠実テキスト・ツー・3D生成の探索
• Authors: Hangyu Li, Xiangxiang Chu, Dingyuan Shi, Wang Lin,
• Abstract要約: 本研究では,フロードレーマーという新しいフレームワークを提案し,よりリッチなテキストの詳細とより高速なコンバージェンスで高忠実度な結果を得る。 鍵となる洞察は、修正流れモデルの結合性と可逆性を利用して、対応する雑音を探索することである。 我々は,同じ軌道に沿って3次元モデルを最適化するために,新しい一様マッチング結合(UCM)損失を導入する。
• 参考スコア（独自算出の注目度）: 17.919092916953183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in text-to-3D generation have made significant progress. In particular, with the pretrained diffusion models, existing methods predominantly use Score Distillation Sampling (SDS) to train 3D models such as Neural RaRecent advances in text-to-3D generation have made significant progress. In particular, with the pretrained diffusion models, existing methods predominantly use Score Distillation Sampling (SDS) to train 3D models such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3D GS). However, a hurdle is that they often encounter difficulties with over-smoothing textures and over-saturating colors. The rectified flow model -- which utilizes a simple ordinary differential equation (ODE) to represent a straight trajectory -- shows promise as an alternative prior to text-to-3D generation. It learns a time-independent vector field, thereby reducing the ambiguity in 3D model update gradients that are calculated using time-dependent scores in the SDS framework. In light of this, we first develop a mathematical analysis to seamlessly integrate SDS with rectified flow model, paving the way for our initial framework known as Vector Field Distillation Sampling (VFDS). However, empirical findings indicate that VFDS still results in over-smoothing outcomes. Therefore, we analyze the grounding reasons for such a failure from the perspective of ODE trajectories. On top, we propose a novel framework, named FlowDreamer, which yields high fidelity results with richer textual details and faster convergence. The key insight is to leverage the coupling and reversible properties of the rectified flow model to search for the corresponding noise, rather than using randomly sampled noise as in VFDS. Accordingly, we introduce a novel Unique Couple Matching (UCM) loss, which guides the 3D model to optimize along the same trajectory.
• Abstract（参考訳）: テキスト・ツー・3D生成の最近の進歩は、大きな進歩をもたらした。 特に,事前学習した拡散モデルでは,SDS(Score Distillation Sampling)を用いて,テキストから3D生成におけるNeural RaRecentの進歩などの3Dモデルのトレーニングが盛んに行われている。 特に、事前訓練された拡散モデルでは、既存の手法は主にスコア蒸留サンプリング(SDS)を使用してニューラルレイディアンス・フィールド(NeRF)や3Dガウス・スプラッティング(3D GS)などの3Dモデルを訓練している。 しかしハードルは、過度に滑らかなテクスチャと過度に飽和した色で、しばしば困難に直面することである。 単純な常微分方程式(ODE)を用いて直線軌道を表現した整流流モデルは、テキストから3D生成の代替となる。 時間非依存ベクトル場を学習し、SDSフレームワークの時間依存スコアを用いて計算される3次元モデル更新勾配の曖昧さを低減する。 そこで我々はまず,SDSを整流モデルとシームレスに統合する数学的解析法を開発し,Vector Field Distillation Sampling (VFDS) と呼ばれる初期フレームワークへの道を開いた。 しかし, 経験的所見から, VFDSは相変わらず過剰な結果をもたらすことが示唆された。 そこで本研究では, ODEトラジェクトリの観点から, このような障害の原因を解析する。 また,フロードレーマーという新しいフレームワークを提案する。このフレームワークは,よりリッチなテキストの詳細とより高速な収束によって,高い忠実度が得られる。 鍵となる洞察は、VFDSのようにランダムにサンプリングされたノイズを使用するのではなく、整流モデルの結合性と可逆性を利用して対応するノイズを探索することである。 そこで,本研究では,同じ軌道に沿って3次元モデルに最適化を誘導する新しいUCM(Unique Couple Matching)の損失について紹介する。

関連論文リスト

• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• ExactDreamer: High-Fidelity Text-to-3D Content Creation via Exact Score Matching [10.362259643427526]
  現在のアプローチは、しばしば3次元合成のために事前訓練された2次元拡散モデルを適用する。 過剰な平滑化は、3Dモデルの高忠実度生成に重大な制限をもたらす。 LucidDreamer は SDS における Denoising Diffusion Probabilistic Model (DDPM) を Denoising Diffusion Implicit Model (DDIM) に置き換える
  論文  参考訳（メタデータ） (2024-05-24T20:19:45Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
  スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。 テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。 実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-17T08:32:07Z)
• CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
  本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。 提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
  論文  参考訳（メタデータ） (2023-12-11T18:59:58Z)
• Learn to Optimize Denoising Scores for 3D Generation: A Unified and Improved Diffusion Prior on NeRF and 3D Gaussian Splatting [60.393072253444934]
  本稿では,3次元生成タスクの拡散先行性向上を目的とした統合フレームワークを提案する。 拡散先行と拡散モデルの訓練手順の相違を同定し、3次元生成の質を著しく損なう。
  論文  参考訳（メタデータ） (2023-12-08T03:55:34Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching [33.696757740830506]
  テキストから3D生成の最近の進歩は、将来性を示している。 多くの手法がSDS(Score Distillation Sampling)に基づいている。 オーバー・スムーシングに対抗するために,ISM(Interval Score Matching)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T09:59:09Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。