論文の概要: Text-to-3D Generation using Jensen-Shannon Score Distillation

• arxiv url: http://arxiv.org/abs/2503.10660v2
• Date: Tue, 18 Mar 2025 17:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:13:17.320365
• Title: Text-to-3D Generation using Jensen-Shannon Score Distillation
• Title（参考訳）: Jensen-Shannon スコア蒸留によるテキスト・ツー・3D生成
• Authors: Khoi Do, Binh-Son Hua,
• Abstract要約: 我々はJensen-Shannon divergence(JSD)に基づく有界スコア蒸留目標を導出する。 本稿では,ジェネレーティブ・ディバイサル・ネットワークの理論を活用することで,JSDの実践的な実装を提案する。 T3Benchの実験結果から,本手法は高品質で多様な3Dアセットを創出できることが示された。
• 参考スコア（独自算出の注目度）: 14.079043195485601
• License:
• Abstract: Score distillation sampling is an effective technique to generate 3D models from text prompts, utilizing pre-trained large-scale text-to-image diffusion models as guidance. However, the produced 3D assets tend to be over-saturating, over-smoothing, with limited diversity. These issues are results from a reverse Kullback-Leibler (KL) divergence objective, which makes the optimization unstable and results in mode-seeking behavior. In this paper, we derive a bounded score distillation objective based on Jensen-Shannon divergence (JSD), which stabilizes the optimization process and produces high-quality 3D generation. JSD can match well generated and target distribution, therefore mitigating mode seeking. We provide a practical implementation of JSD by utilizing the theory of generative adversarial networks to define an approximate objective function for the generator, assuming the discriminator is well trained. By assuming the discriminator following a log-odds classifier, we propose a minority sampling algorithm to estimate the gradients of our proposed objective, providing a practical implementation for JSD. We conduct both theoretical and empirical studies to validate our method. Experimental results on T3Bench demonstrate that our method can produce high-quality and diversified 3D assets.
• Abstract（参考訳）: スコア蒸留サンプリングはテキストプロンプトから3次元モデルを生成するための有効な手法であり、事前訓練された大規模テキスト・画像拡散モデルを用いて誘導を行う。 しかし、生産された3Dアセットは、過飽和で、過剰なスムーシングであり、多様性は限られている。 これらの問題は、KL(Kulback-Leibler)分散目標から得られるものであり、最適化を不安定にし、モード探索動作をもたらす。 本稿では,最適化プロセスの安定化と高品質な3D生成を実現するJensen-Shannon divergence (JSD)に基づいて,境界値の蒸留目標を導出する。 JSDは、よく生成された分布とターゲット分布にマッチするので、緩和モードの探索が可能である。 本稿では、ジェネレータが十分に訓練されていると仮定して、ジェネレータの近似目的関数を定義するために、ジェネレータネットワークの理論を活用することで、JSDの実践的な実装を提供する。 ログオード分類器に従って判別器を仮定することにより,提案する目的の勾配を推定するマイノリティーサンプリングアルゴリズムを提案し,JSDの実用的な実装を提供する。 提案手法を検証するため,理論的および実証的研究を行った。 T3Benchの実験結果から,本手法は高品質で多様な3Dアセットを創出できることが示された。

関連論文リスト

• Diverse Score Distillation [27.790458964072823]
  ランダムな初期シードによって定義された生成経路に従うよう最適化するスコアの定式化を提案する。 本稿では,2次元最適化,テキストベースの3D推論,単一ビュー再構成などのタスクにまたがるDSD(Diverse Score Distillation)の応用について紹介する。
  論文  参考訳（メタデータ） (2024-12-09T18:59:02Z)
• DreamMapping: High-Fidelity Text-to-3D Generation via Variational Distribution Mapping [20.7584503748821]
  SDS (Score Distillation Sampling) はテキストから3D生成の一般的な技術として登場し、テキストから2Dのガイダンスからビュー依存情報を蒸留することで3Dコンテンツ作成を可能にする。 我々は、SDSの徹底的な解析を行い、その定式化を洗練し、中心となる設計はレンダリングされた画像の分布をモデル化することである。 本稿では,分散に基づく生成の劣化事例として,画像の描画を考慮し,分散モデリングプロセスの迅速化を図る,変分分布マッピング (VDM) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-08T14:04:48Z)
• VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
  拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。 PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。 そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:21:52Z)
• Consistent3D: Towards Consistent High-Fidelity Text-to-3D Generation with Deterministic Sampling Prior [87.55592645191122]
  スコア蒸留サンプリング(SDS)とその変種は、テキスト・ツー・3D世代の発展を大幅に加速させたが、幾何崩壊やテクスチャの低下に弱い。 テキストから3D生成に先立ってODE決定論的サンプリングを探索する新しい「一貫性3D」手法を提案する。 実験により,高忠実で多様な3Dオブジェクトと大規模シーンの生成にConsistent3Dの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-17T08:32:07Z)
• Text-to-3D with Classifier Score Distillation [80.14832887529259]
  クラシファイアフリーガイダンスは最も必須ではなく、補助的なトリックだと考えられている。 我々はこの手法をスコア蒸留 (CSD) と名付け, 生成のための暗黙の分類モデルを用いて解釈できる。 我々は,形状生成,テクスチャ合成,形状編集など,テキストから3Dまでの各種タスクにおけるCSDの有効性を検証した。
  論文  参考訳（メタデータ） (2023-10-30T10:25:40Z)
• Diffusion-based 3D Object Detection with Random Boxes [58.43022365393569]
  既存のアンカーベースの3D検出方法は、アンカーの実証的な設定に依存しており、アルゴリズムはエレガンスを欠いている。 提案するDiff3Detは,検出ボックスを生成対象として考慮し,拡散モデルから3次元オブジェクト検出のための提案生成へ移行する。 推論段階では、モデルは予測結果にランダムボックスのセットを徐々に洗練する。
  論文  参考訳（メタデータ） (2023-09-05T08:49:53Z)
• DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion [2.458437232470188]
  GAN(Generative Adversarial Network)を用いたクラス条件画像生成について,様々な手法を用いて検討した。 本稿では,DuDGANと呼ばれる2次元拡散型ノイズ注入法を取り入れたGANを用いたクラス条件画像生成手法を提案する。 提案手法は,画像生成のための現状条件付きGANモデルよりも性能的に優れている。
  論文  参考訳（メタデータ） (2023-05-24T07:59:44Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。