論文の概要: IT3D: Improved Text-to-3D Generation with Explicit View Synthesis

• arxiv url: http://arxiv.org/abs/2308.11473v1
• Date: Tue, 22 Aug 2023 14:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 17:50:13.562279
• Title: IT3D: Improved Text-to-3D Generation with Explicit View Synthesis
• Title（参考訳）: it3d: 明示的なビュー合成によるテキストから3d生成の改善
• Authors: Yiwen Chen, Chi Zhang, Xiaofeng Yang, Zhongang Cai, Gang Yu, Lei Yang, Guosheng Lin
• Abstract要約: 本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
• 参考スコア（独自算出の注目度）: 71.68595192524843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent strides in Text-to-3D techniques have been propelled by distilling knowledge from powerful large text-to-image diffusion models (LDMs). Nonetheless, existing Text-to-3D approaches often grapple with challenges such as over-saturation, inadequate detailing, and unrealistic outputs. This study presents a novel strategy that leverages explicitly synthesized multi-view images to address these issues. Our approach involves the utilization of image-to-image pipelines, empowered by LDMs, to generate posed high-quality images based on the renderings of coarse 3D models. Although the generated images mostly alleviate the aforementioned issues, challenges such as view inconsistency and significant content variance persist due to the inherent generative nature of large diffusion models, posing extensive difficulties in leveraging these images effectively. To overcome this hurdle, we advocate integrating a discriminator alongside a novel Diffusion-GAN dual training strategy to guide the training of 3D models. For the incorporated discriminator, the synthesized multi-view images are considered real data, while the renderings of the optimized 3D models function as fake data. We conduct a comprehensive set of experiments that demonstrate the effectiveness of our method over baseline approaches.
• Abstract（参考訳）: テキストから3dへの技術の進歩は、強力な大規模テキストから画像への拡散モデル(ldms)からの知識を蒸留することで進められている。 それでも、既存のText-to-3Dアプローチは、過飽和、不適切な詳細化、非現実的な出力といった課題に悩まされることが多い。 本研究は,これらの課題に対処するために,明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。 提案手法では, 粗い3次元モデルのレンダリングに基づいて高画質な画像を生成するために, LDMによる画像・画像パイプラインを利用する。 生成された画像は、上記の問題をほとんど軽減するが、大きな拡散モデルの固有生成性のため、ビューの不一貫性や重要なコンテンツ分散などの課題は継続し、これらの画像の有効活用に多大な困難が伴う。 このハードルを克服するために,新しいDiffusion-GANデュアルトレーニング戦略とともに,識別器の統合を提唱する。 組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。 我々は,ベースラインアプローチによる手法の有効性を実証する総合的な実験を行う。

関連論文リスト

• Bootstrap3D: Improving 3D Content Creation with Synthetic Data [80.92268916571712]
  重要なボトルネックは、詳細なキャプションを備えた高品質な3Dアセットの不足である。 本稿では,任意の量のマルチビュー画像を自動的に生成する新しいフレームワークBootstrap3Dを提案する。 我々は高画質合成多視点画像100万枚を高密度記述キャプションで生成した。
  論文  参考訳（メタデータ） (2024-05-31T17:59:56Z)
• Grounded Compositional and Diverse Text-to-3D with Pretrained Multi-View Diffusion Model [65.58911408026748]
  複雑な合成文のプロンプトを正確に追従できる3Dアセットを生成するために,グラウンドド・ドレーマーを提案する。 まず,テキスト・ツー・3Dパイプラインのボトルネックとして,テキスト誘導4視点画像の活用を提唱する。 次に,テキストアラインな4ビュー画像生成を促すための注意再焦点機構を導入する。
  論文  参考訳（メタデータ） (2024-04-28T04:05:10Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [13.551691697814908]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
  本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。 提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
  論文  参考訳（メタデータ） (2023-12-11T18:59:58Z)
• EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior [59.25950280610409]
  直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。 本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。 また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T07:39:26Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Vox-E: Text-guided Voxel Editing of 3D Objects [14.88446525549421]
  大規模テキスト誘導拡散モデルが注目されているのは、多様な画像を合成できるためである。 本稿では,既存の3次元オブジェクトの編集に潜時拡散モデルのパワーを利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T17:36:36Z)
• DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
  テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。 本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。 提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-29T17:50:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。