論文の概要: Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation

• arxiv url: http://arxiv.org/abs/2303.15413v1
• Date: Mon, 27 Mar 2023 17:31:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 14:07:59.470020
• Title: Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation
• Title（参考訳）: ロバストテキスト3次元生成のための2次元拡散のデバイアススコアとプロンプト
• Authors: Susung Hong, Donghoon Ahn, Seungryong Kim
• Abstract要約: 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 可算名詞 〔of〕. 本稿では,ロバストテキスト・ツー・3D生成のためのスコア蒸留フレームワークをデバイアス化する2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 31.22435282922934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The view inconsistency problem in score-distilling text-to-3D generation, also known as the Janus problem, arises from the intrinsic bias of 2D diffusion models, which leads to the unrealistic generation of 3D objects. In this work, we explore score-distilling text-to-3D generation and identify the main causes of the Janus problem. Based on these findings, we propose two approaches to debias the score-distillation frameworks for robust text-to-3D generation. Our first approach, called score debiasing, involves gradually increasing the truncation value for the score estimated by 2D diffusion models throughout the optimization process. Our second approach, called prompt debiasing, identifies conflicting words between user prompts and view prompts utilizing a language model and adjusts the discrepancy between view prompts and object-space camera poses. Our experimental results show that our methods improve realism by significantly reducing artifacts and achieve a good trade-off between faithfulness to the 2D diffusion models and 3D consistency with little overhead.
• Abstract（参考訳）: スコア蒸留テキストから3d生成におけるビューの不整合問題は、二次元拡散モデルの固有バイアスから生じており、3dオブジェクトの非現実的な生成に繋がる。 本研究では,スコア蒸留テキストから3次元生成を探索し,ジャヌス問題の主な原因を明らかにする。 そこで本研究では,ロバストなテキスト対3d生成のためのスコア蒸留フレームワークを分離する2つの手法を提案する。 我々の最初のアプローチはスコアデバイアスと呼ばれ、最適化プロセスを通して2次元拡散モデルによって推定されるスコアのトランケーション値を徐々に増加させる。 プロンプトデバイアスと呼ばれる2つ目のアプローチでは,言語モデルを用いたユーザプロンプトとビュープロンプトの相反する単語を特定し,ビュープロンプトとオブジェクト空間カメラのポーズの相違を調整する。 実験の結果,2次元拡散モデルに対する忠実性と3次元一貫性のトレードオフを,少ないオーバーヘッドで達成し,現実主義を改善できることがわかった。

関連論文リスト

• Vista3D: Unravel the 3D Darkside of a Single Image [64.00066024235088]
  Vista3Dは、わずか5分で素早く一貫した3D生成を実現するフレームワークである。 粗い位相では、1つの画像からガウススプラッティングで初期幾何学を高速に生成する。 2つの独立な暗黙関数を持つ非絡み合った表現を使用することで、生成の質を高める。
  論文  参考訳（メタデータ） (2024-09-18T17:59:44Z)
• VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing [22.39760469467524]
  本研究では,2次元拡散モデルと3次元拡散モデルの間のモーダルギャップに対処する分散テクスチャ合成を提案する。 我々は、競合する領域との詳細な関係を改善するために、塗装モジュールを提示する。
  論文  参考訳（メタデータ） (2024-07-05T12:11:33Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Retrieval-Augmented Score Distillation for Text-to-3D Generation [30.57225047257049]
  テキストから3D生成における検索に基づく品質向上のための新しいフレームワークを提案する。 我々はReDreamが幾何整合性を高めて優れた品質を示すことを示すために広範な実験を行った。
  論文  参考訳（メタデータ） (2024-02-05T12:50:30Z)
• X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation [61.48050470095969]
  X-Dreamerは高品質なテキストから3Dコンテンツを作成するための新しいアプローチである。 テキスト対2D合成とテキスト対3D合成のギャップを埋める。
  論文  参考訳（メタデータ） (2023-11-30T07:23:00Z)
• SweetDreamer: Aligning Geometric Priors in 2D Diffusion for Consistent Text-to-3D [40.088688751115214]
  事前学習した拡散モデルからテキストから3D生成のための3次元世界へ2D結果を持ち上げることは本質的に不明瞭である。 昇降時の3次元形状をよく定義した拡散モデルにおける2次元幾何学的先行を整列させて整合性を向上させる。 提案手法は,人間の評価によって85%以上の一貫性を有する新しい最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-04T05:59:50Z)
• 3DDesigner: Towards Photorealistic 3D Object Generation and Editing with Text-guided Diffusion Models [71.25937799010407]
  テキスト誘導拡散モデルを用いて3次元連続生成を実現する。 本研究では3次元局所編集について検討し,2段階の解法を提案する。 モデルを拡張してワンショットのノベルビュー合成を行う。
  論文  参考訳（メタデータ） (2022-11-25T13:50:00Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。