論文の概要: ART3D: 3D Gaussian Splatting for Text-Guided Artistic Scenes Generation
- arxiv url: http://arxiv.org/abs/2405.10508v1
- Date: Fri, 17 May 2024 03:19:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-20 17:11:53.592908
- Title: ART3D: 3D Gaussian Splatting for Text-Guided Artistic Scenes Generation
- Title（参考訳）: ART3D:テキスト誘導アートシーン生成のための3Dガウシアンスプラッティング
- Authors: Pengzhi Li, Chengshuai Tang, Qinxuan Huang, Zhiheng Li,
- Abstract要約: ART3Dは拡散モデルと3Dガウススプラッティング技術を組み合わせた新しいフレームワークである。
深度情報と初期芸術画像を活用することにより,点雲マップを生成する。
また、3Dシーンの整合性を高めるための奥行き整合性モジュールを提案する。
- 参考スコア（独自算出の注目度）: 18.699440994076003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore the existing challenges in 3D artistic scene generation by introducing ART3D, a novel framework that combines diffusion models and 3D Gaussian splatting techniques. Our method effectively bridges the gap between artistic and realistic images through an innovative image semantic transfer algorithm. By leveraging depth information and an initial artistic image, we generate a point cloud map, addressing domain differences. Additionally, we propose a depth consistency module to enhance 3D scene consistency. Finally, the 3D scene serves as initial points for optimizing Gaussian splats. Experimental results demonstrate ART3D's superior performance in both content and structural consistency metrics when compared to existing methods. ART3D significantly advances the field of AI in art creation by providing an innovative solution for generating high-quality 3D artistic scenes.
- Abstract（参考訳）: 本稿では,拡散モデルと3Dガウススプラッティング技術を組み合わせた新しいフレームワークART3Dを導入することで,既存の3Dアートシーン生成の課題を探求する。
本手法は,革新的な画像意味伝達アルゴリズムにより,芸術的画像と現実的画像のギャップを効果的に埋める。
深度情報と初期芸術画像を活用することで,領域差に対処する点雲マップを生成する。
さらに,3次元シーンの整合性を高めるための奥行き整合性モジュールを提案する。
最後に、3Dシーンはガウススプラッターを最適化する最初のポイントとして機能する。
ART3Dは,既存の手法と比較して,コンテントと構造整合性の両方で優れた性能を示した。
ART3Dは、高品質な3Dアートシーンを生成する革新的なソリューションを提供することで、アート創造におけるAIの分野を著しく進歩させる。
関連論文リスト
- AI-Driven Stylization of 3D Environments [1.1097407843705314]
我々は、NeRFや3Dガウススプラッティングといった新しい3D表現を用いて、3Dプリミティブオブジェクトのシーンを高忠実度3Dシーンにスタイリングする方法について議論する。
提案手法は,既存の画像スタイリングシステムと画像から3D生成モデルを活用して,反復的に3Dオブジェクトをシーンにスタイリングし合成するパイプラインを作成する。
論文 参考訳（メタデータ） (2024-11-09T04:51:17Z) - 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳（メタデータ） (2024-03-14T14:31:22Z) - Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。
2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。
合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
論文 参考訳（メタデータ） (2023-11-09T15:50:32Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳（メタデータ） (2023-08-18T17:55:47Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳（メタデータ） (2023-06-07T17:47:50Z) - DITTO-NeRF: Diffusion-based Iterative Text To Omni-directional 3D Model [15.091263190886337]
テキストプロンプトや単一画像から高品質な3D NeRFモデルを生成するための新しいパイプラインを提案する。
DitTO-NeRFは、前景から与えられたまたはテキスト生成された2D画像を用いて、制限付きインバウンダリ(IB)角度のための高品質な部分的な3Dオブジェクトを構築する。
我々は,DITTO-NeRFにおける3次元オブジェクト再構成手法を,スケール(低分解能),アングル(IB角),外界(OB),マスク(背景境界)の3次元オブジェクト再構成方式を提案する。
論文 参考訳（メタデータ） (2023-04-06T02:27:22Z) - Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion
Prior [36.40582157854088]
本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。
我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。
本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
論文 参考訳（メタデータ） (2023-03-24T17:54:22Z) - 3DAvatarGAN: Bridging Domains for Personalized Editable Avatars [75.31960120109106]
3D-GANは、一貫した構造を持つ大規模データセットのトレーニングにより、幾何学とテクスチャを合成する。
本稿では,ソースドメインが事前訓練された3D-GANであり,ターゲットドメインが2D-GANである適応フレームワークを提案する。
本稿では,芸術領域の誇張された幾何学をモデル化するための変形に基づく手法について述べる。
論文 参考訳（メタデータ） (2023-01-06T19:58:47Z) - Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。
VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
論文 参考訳（メタデータ） (2020-07-14T14:45:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。