論文の概要: Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D
Generation
- arxiv url: http://arxiv.org/abs/2303.15413v1
- Date: Mon, 27 Mar 2023 17:31:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 14:07:59.470020
- Title: Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D
Generation
- Title(参考訳): ロバストテキスト3次元生成のための2次元拡散のデバイアススコアとプロンプト
- Authors: Susung Hong, Donghoon Ahn, Seungryong Kim
- Abstract要約: 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 〔of〕.
本稿では,ロバストテキスト・ツー・3D生成のためのスコア蒸留フレームワークをデバイアス化する2つの手法を提案する。
- 参考スコア(独自算出の注目度): 31.22435282922934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The view inconsistency problem in score-distilling text-to-3D generation,
also known as the Janus problem, arises from the intrinsic bias of 2D diffusion
models, which leads to the unrealistic generation of 3D objects. In this work,
we explore score-distilling text-to-3D generation and identify the main causes
of the Janus problem. Based on these findings, we propose two approaches to
debias the score-distillation frameworks for robust text-to-3D generation. Our
first approach, called score debiasing, involves gradually increasing the
truncation value for the score estimated by 2D diffusion models throughout the
optimization process. Our second approach, called prompt debiasing, identifies
conflicting words between user prompts and view prompts utilizing a language
model and adjusts the discrepancy between view prompts and object-space camera
poses. Our experimental results show that our methods improve realism by
significantly reducing artifacts and achieve a good trade-off between
faithfulness to the 2D diffusion models and 3D consistency with little
overhead.
- Abstract(参考訳): スコア蒸留テキストから3d生成におけるビューの不整合問題は、二次元拡散モデルの固有バイアスから生じており、3dオブジェクトの非現実的な生成に繋がる。
本研究では,スコア蒸留テキストから3次元生成を探索し,ジャヌス問題の主な原因を明らかにする。
そこで本研究では,ロバストなテキスト対3d生成のためのスコア蒸留フレームワークを分離する2つの手法を提案する。
我々の最初のアプローチはスコアデバイアスと呼ばれ、最適化プロセスを通して2次元拡散モデルによって推定されるスコアのトランケーション値を徐々に増加させる。
プロンプトデバイアスと呼ばれる2つ目のアプローチでは,言語モデルを用いたユーザプロンプトとビュープロンプトの相反する単語を特定し,ビュープロンプトとオブジェクト空間カメラのポーズの相違を調整する。
実験の結果,2次元拡散モデルに対する忠実性と3次元一貫性のトレードオフを,少ないオーバーヘッドで達成し,現実主義を改善できることがわかった。
関連論文リスト
- VP3D: Unleashing 2D Visual Prompt for Text-to-3D Generation [96.62867261689037]
視覚プロンプト誘導型3次元拡散モデル(VP3D)を提案する。
VP3Dは、テキストから3D生成を促進するために、2D視覚プロンプトの視覚的外観知識を明示的に解放する。
実験の結果,VP3Dの2次元視覚プロンプトは3次元モデルの視覚的外観の学習を著しく容易にすることがわかった。
論文 参考訳(メタデータ) (2024-03-25T17:59:31Z) - Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。
具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。
これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
論文 参考訳(メタデータ) (2024-03-14T07:39:59Z) - Retrieval-Augmented Score Distillation for Text-to-3D Generation [30.57225047257049]
テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。
我々はReDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
論文 参考訳(メタデータ) (2024-02-05T12:50:30Z) - X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap
Between Text-to-2D and Text-to-3D Generation [64.12848271290119]
X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。
テキスト対2D合成とテキスト対3D合成のギャップを埋める。
論文 参考訳(メタデータ) (2023-11-30T07:23:00Z) - SweetDreamer: Aligning Geometric Priors in 2D Diffusion for Consistent
Text-to-3D [40.088688751115214]
事前学習した拡散モデルからテキストから3D生成のための3次元世界へ2D結果を持ち上げることは本質的に不明瞭である。
昇降時の3次元形状をよく定義した拡散モデルにおける2次元幾何学的先行を整列させて整合性を向上させる。
提案手法は,人間の評価によって85%以上の一貫性を有する新しい最先端性能を示す。
論文 参考訳(メタデータ) (2023-10-04T05:59:50Z) - DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion
Probabilistic Model [25.223801390996435]
本稿では,1つの2次元キーポイント検出から3次元ポーズを再構築することに焦点を当てた。
我々は,市販の2D検出器から多種多様な3Dポーズを効果的にサンプリングするための,拡散に基づく新しいフレームワークを構築した。
我々は,広く採用されているHuman3.6MとHumanEva-Iデータセットについて評価を行った。
論文 参考訳(メタデータ) (2022-12-06T07:22:20Z) - 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with
Text-guided Diffusion Models [71.25937799010407]
テキスト誘導拡散モデルを用いて3次元連続生成を実現する。
本研究では3次元局所編集について検討し,2段階の解法を提案する。
モデルを拡張してワンショットのノベルビュー合成を行う。
論文 参考訳(メタデータ) (2022-11-25T13:50:00Z) - Homography Loss for Monocular 3D Object Detection [54.04870007473932]
ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。
提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
論文 参考訳(メタデータ) (2022-04-02T03:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。