論文の概要: DreamBeast: Distilling 3D Fantastical Animals with Part-Aware Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2409.08271v1
• Date: Thu, 12 Sep 2024 17:58:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 15:24:38.778322
• Title: DreamBeast: Distilling 3D Fantastical Animals with Part-Aware Knowledge Transfer
• Title（参考訳）: ドリームビースト:3Dファストリアルな動物を分別で蒸留する
• Authors: Runjia Li, Junlin Han, Luke Melas-Kyriazi, Chunyi Sun, Zhaochong An, Zhongrui Gui, Shuyang Sun, Philip Torr, Tomas Jakab,
• Abstract要約: 本稿では,DreamBeastについて紹介する。DreamBeastは,異なる部品からなる3D動物資産を創出する新しい方法である。 生成した各資産に対して、安定拡散3モデルから部分レベルの知識を効率的に抽出する。 次に、SDS中の多視点拡散モデルのガイダンスを変調して、幻想的な動物の3Dアセットを作成する。
• 参考スコア（独自算出の注目度）: 26.36250599941058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present DreamBeast, a novel method based on score distillation sampling (SDS) for generating fantastical 3D animal assets composed of distinct parts. Existing SDS methods often struggle with this generation task due to a limited understanding of part-level semantics in text-to-image diffusion models. While recent diffusion models, such as Stable Diffusion 3, demonstrate a better part-level understanding, they are prohibitively slow and exhibit other common problems associated with single-view diffusion models. DreamBeast overcomes this limitation through a novel part-aware knowledge transfer mechanism. For each generated asset, we efficiently extract part-level knowledge from the Stable Diffusion 3 model into a 3D Part-Affinity implicit representation. This enables us to instantly generate Part-Affinity maps from arbitrary camera views, which we then use to modulate the guidance of a multi-view diffusion model during SDS to create 3D assets of fantastical animals. DreamBeast significantly enhances the quality of generated 3D creatures with user-specified part compositions while reducing computational overhead, as demonstrated by extensive quantitative and qualitative evaluations.
• Abstract（参考訳）: 本研究では,異なる部分からなる素晴らしい3D動物資産を生成するための,スコア蒸留サンプリング(SDS)に基づく新しい手法であるDreamBeastを提案する。 既存のSDSメソッドは、テキストと画像の拡散モデルにおける部分レベルのセマンティクスの限定的な理解のために、この生成タスクに苦労することが多い。 安定拡散3のような最近の拡散モデルは、より優れた部分レベル理解を示すが、それらは禁断的に遅く、単視点拡散モデルに関連する他の一般的な問題を示す。 DreamBeastは、新しい知識伝達機構を通じて、この制限を克服する。 生成した各資産に対して、安定拡散3モデルから部分レベルの知識を効率よく3次元部分親和性暗示表現に抽出する。 これにより、任意のカメラビューからPart-Affinityマップを瞬時に生成し、SDS中に多視点拡散モデルのガイダンスを変調して、幻想的な動物の3Dアセットを作成することができる。 DreamBeastは、計算オーバーヘッドを低減しつつ、ユーザが特定した部分構成で生成された3D生物の質を大幅に向上させる。

関連論文リスト

• Semantic Score Distillation Sampling for Compositional Text-to-3D Generation [28.88237230872795]
  テキスト記述から高品質な3Dアセットを生成することは、コンピュータグラフィックスと視覚研究において重要な課題である。 本稿では,合成テキストから3D生成までの表現性と精度の向上を目的とした新しいSDS手法を提案する。 我々のアプローチは、異なるレンダリングビュー間の一貫性を維持する新しいセマンティック埋め込みを統合する。 明示的な意味指導を活用することで,既存の事前学習拡散モデルの構成能力を解き放つ。
  論文  参考訳（メタデータ） (2024-10-11T17:26:00Z)
• DiffTF++: 3D-aware Diffusion Transformer for Large-Vocabulary 3D Generation [53.20147419879056]
  拡散型フィードフォワードフレームワークを導入し,単一モデルで課題に対処する。 TransFormerを用いた3D対応拡散モデルを構築し,より強力な3D生成,すなわちDiffTF++を提案する。 ShapeNetとOmniObject3Dの実験は、提案したモジュールの有効性を確実に実証している。
  論文  参考訳（メタデータ） (2024-05-13T17:59:51Z)
• Grounded Compositional and Diverse Text-to-3D with Pretrained Multi-View Diffusion Model [65.58911408026748]
  複雑な合成文のプロンプトを正確に追従できる3Dアセットを生成するために,グラウンドド・ドレーマーを提案する。 まず,テキスト・ツー・3Dパイプラインのボトルネックとして,テキスト誘導4視点画像の活用を提唱する。 次に,テキストアラインな4ビュー画像生成を促すための注意再焦点機構を導入する。
  論文  参考訳（メタデータ） (2024-04-28T04:05:10Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views [47.215089338101066]
  スパースビュー入力に適した新しい3D再構成手法であるスパース3Dを提案する。 提案手法は,多視点拡散モデルから頑健な先行情報を抽出し,ニューラルラディアンス場を改良する。 強力な画像拡散モデルから2Dプリエントをタップすることで、我々の統合モデルは、常に高品質な結果をもたらす。
  論文  参考訳（メタデータ） (2023-08-27T11:52:00Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• Generative Novel View Synthesis with 3D-Aware Diffusion Models [96.78397108732233]
  単一入力画像から3D対応の新規ビュー合成のための拡散モデルを提案する。 提案手法は既存の2次元拡散バックボーンを利用するが,重要な点として,幾何学的先行を3次元特徴体積の形で組み込む。 新たなビュー生成に加えて,本手法は3次元一貫性シーケンスを自己回帰的に合成する機能を備えている。
  論文  参考訳（メタデータ） (2023-04-05T17:15:47Z)
• SALAD: Part-Level Latent Diffusion for 3D Shape Generation and Manipulation [11.828311976126301]
  部分レベルの暗黙的3次元表現に基づくカスケード拡散モデルを提案する。 提案モデルでは,最先端の生成品質を実現し,条件付き設定での付加的なトレーニングを伴わずに,部分レベルの形状の編集と操作が可能となる。
  論文  参考訳（メタデータ） (2023-03-21T23:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。