論文の概要: ModeDreamer: Mode Guiding Score Distillation for Text-to-3D Generation using Reference Image Prompts

• arxiv url: http://arxiv.org/abs/2411.18135v1
• Date: Wed, 27 Nov 2024 08:33:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:41.696371
• Title: ModeDreamer: Mode Guiding Score Distillation for Text-to-3D Generation using Reference Image Prompts
• Title（参考訳）: ModeDreamer:参照画像プロンプトを用いたテキスト・ツー・3D生成のためのモード誘導スコア蒸留
• Authors: Uy Dieu Tran, Minh Luu, Phong Ha Nguyen, Khoi Nguyen, Binh-Son Hua,
• Abstract要約: ISDと呼ばれる画像プロンプトスコアの蒸留損失を導入し、参照画像を用いてテキストから3Dへの直接最適化を行う。 本実験は, 従来のテキスト・ツー・3D手法と比較して, 視覚的コヒーレントで高品質な出力を実現し, 最適化速度を向上することを示した。
• 参考スコア（独自算出の注目度）: 15.341857735842954
• License:
• Abstract: Existing Score Distillation Sampling (SDS)-based methods have driven significant progress in text-to-3D generation. However, 3D models produced by SDS-based methods tend to exhibit over-smoothing and low-quality outputs. These issues arise from the mode-seeking behavior of current methods, where the scores used to update the model oscillate between multiple modes, resulting in unstable optimization and diminished output quality. To address this problem, we introduce a novel image prompt score distillation loss named ISD, which employs a reference image to direct text-to-3D optimization toward a specific mode. Our ISD loss can be implemented by using IP-Adapter, a lightweight adapter for integrating image prompt capability to a text-to-image diffusion model, as a mode-selection module. A variant of this adapter, when not being prompted by a reference image, can serve as an efficient control variate to reduce variance in score estimates, thereby enhancing both output quality and optimization stability. Our experiments demonstrate that the ISD loss consistently achieves visually coherent, high-quality outputs and improves optimization speed compared to prior text-to-3D methods, as demonstrated through both qualitative and quantitative evaluations on the T3Bench benchmark suite.
• Abstract（参考訳）: 既存のSDS(Score Distillation Sampling)ベースの手法は、テキストから3D生成に大きな進歩をもたらした。 しかし、SDSをベースとした3Dモデルは、過度に滑らかで低品質な出力を示す傾向にある。 これらの問題は、複数のモード間でモデル更新に使用されるスコアが振動し、不安定な最適化と出力品質が低下する現在の手法のモード探索行動から生じる。 そこで本研究では,テキスト・ツー・3Dの直接最適化に参照画像を利用するICDと呼ばれる新しい画像プロンプト・スコア・蒸留損失を提案する。 IP-Adapterは、画像プロンプト機能をテキスト間拡散モデルに統合する軽量なアダプタで、モード選択モジュールとして実装することができる。 このアダプタの変種は、基準画像によって誘導されない場合、スコア推定のばらつきを低減し、出力品質と最適化安定性の両立を図るために効率的な制御変数として機能する。 T3Benchベンチマークスイートの定性的・定量的評価により, 従来のテキスト・ツー・3D手法と比較して, ISD損失が一貫した視覚的コヒーレントで高品質な出力を実現し, 最適化速度が向上することが実証された。

関連論文リスト

• DreamMapping: High-Fidelity Text-to-3D Generation via Variational Distribution Mapping [20.7584503748821]
  SDS (Score Distillation Sampling) はテキストから3D生成の一般的な技術として登場し、テキストから2Dのガイダンスからビュー依存情報を蒸留することで3Dコンテンツ作成を可能にする。 我々は、SDSの徹底的な解析を行い、その定式化を洗練し、中心となる設計はレンダリングされた画像の分布をモデル化することである。 本稿では,分散に基づく生成の劣化事例として,画像の描画を考慮し,分散モデリングプロセスの迅速化を図る,変分分布マッピング (VDM) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-08T14:04:48Z)
• FlowDreamer: Exploring High Fidelity Text-to-3D Generation via Rectified Flow [17.919092916953183]
  本研究では,フロードレーマーという新しいフレームワークを提案し,よりリッチなテキストの詳細とより高速なコンバージェンスで高忠実度な結果を得る。 鍵となる洞察は、修正流れモデルの結合性と可逆性を利用して、対応する雑音を探索することである。 我々は,同じ軌道に沿って3次元モデルを最適化するために,新しい一様マッチング結合(UCM)損失を導入する。
  論文  参考訳（メタデータ） (2024-08-09T11:40:20Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• DreamFlow: High-Quality Text-to-3D Generation by Approximating Probability Flow [72.9209434105892]
  本稿では,T2I拡散を利用したテキスト・ツー・3Dの最適化手法を提案する。 提案手法を応用して,実用的な3段階間粗大なテキスト・ツー・3D最適化フレームワークであるDreamFlowを設計する。
  論文  参考訳（メタデータ） (2024-03-22T05:38:15Z)
• Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
  スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。 テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。 実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-17T08:32:07Z)
• Instant3D: Fast Text-to-3D with Sparse-View Generation and Large Reconstruction Model [68.98311213582949]
  テキストプロンプトから高品質で多様な3Dアセットをフィードフォワードで生成する新しい手法であるInstant3Dを提案する。 提案手法は,従来の最適化手法よりも2桁早く,20秒以内に高画質の多種多様な3Dアセットを生成できる。
  論文  参考訳（メタデータ） (2023-11-10T18:03:44Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• DreamTime: An Improved Optimization Strategy for Diffusion-Guided 3D Generation [24.042803966469066]
  本研究は, 点数蒸留における3次元最適化プロセスと一様時間ステップサンプリングの矛盾が, これらの制約の主な原因であることを示す。 本稿では, 単調な非増加関数を用いた時間ステップサンプリングを優先し, 3次元最適化プロセスと拡散モデルのサンプリングプロセスとの整合性を示す。 私たちのシンプルなデザイン変更は、より高速なコンバージェンス、より良い品質、多様性で3Dコンテンツ作成を大幅に改善します。
  論文  参考訳（メタデータ） (2023-06-21T17:59:45Z)
• Efficient Text-Guided 3D-Aware Portrait Generation with Score Distillation Sampling on Distribution [28.526714129927093]
  本研究では,DreamPortraitを提案する。DreamPortraitは,テキスト誘導型3D画像の単一フォワードパスで効率よく作成することを目的としている。 さらに,テキストと3D認識空間の対応をモデルが明示的に知覚できるように,3D対応のゲート・アテンション機構を設計する。
  論文  参考訳（メタデータ） (2023-06-03T11:08:38Z)
• HiFA: High-fidelity Text-to-3D Generation with Advanced Diffusion Guidance [19.252300247300145]
  本研究は,高品質なテキスト・ツー・3D生成を実現するための全体的サンプリングと平滑化手法を提案する。 テキスト・画像拡散モデルの潜時空間と画像空間における復調スコアを計算する。 単一段最適化において高品質なレンダリングを生成するため,我々はNeRF線に沿ったz座標の分散の正則化を提案する。
  論文  参考訳（メタデータ） (2023-05-30T05:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。