論文の概要: TextMesh: Generation of Realistic 3D Meshes From Text Prompts
- arxiv url: http://arxiv.org/abs/2304.12439v1
- Date: Mon, 24 Apr 2023 20:29:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 22:47:11.726736
- Title: TextMesh: Generation of Realistic 3D Meshes From Text Prompts
- Title（参考訳）: TextMesh: テキストプロンプトからリアルな3Dメッシュを生成する
- Authors: Christina Tsalicoglou and Fabian Manhardt and Alessio Tonioni and
Michael Niemeyer and Federico Tombari
- Abstract要約: リアルな3Dメッシュを生成するための新しい手法を提案する。
この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
- 参考スコア（独自算出の注目度）: 56.2832907275291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to generate highly realistic 2D images from mere text prompts has
recently made huge progress in terms of speed and quality, thanks to the advent
of image diffusion models. Naturally, the question arises if this can be also
achieved in the generation of 3D content from such text prompts. To this end, a
new line of methods recently emerged trying to harness diffusion models,
trained on 2D images, for supervision of 3D model generation using view
dependent prompts. While achieving impressive results, these methods, however,
have two major drawbacks. First, rather than commonly used 3D meshes, they
instead generate neural radiance fields (NeRFs), making them impractical for
most real applications. Second, these approaches tend to produce over-saturated
models, giving the output a cartoonish looking effect. Therefore, in this work
we propose a novel method for generation of highly realistic-looking 3D meshes.
To this end, we extend NeRF to employ an SDF backbone, leading to improved 3D
mesh extraction. In addition, we propose a novel way to finetune the mesh
texture, removing the effect of high saturation and improving the details of
the output 3D mesh.
- Abstract（参考訳）: テキストプロンプトから非常にリアルな2d画像を生成する能力は、画像拡散モデルの出現により、最近、スピードと品質の面で大きな進歩を遂げている。
自然に、このようなテキストプロンプトから3Dコンテンツを生成する際にも、これが達成できるかどうかが問題となる。
この目的のために、2dイメージで訓練された拡散モデルを利用して、ビュー依存プロンプトを用いた3dモデル生成を監督する新しい手法が最近登場した。
しかし、素晴らしい結果を得る一方で、これらの手法には2つの大きな欠点がある。
まず、一般的な3Dメッシュではなく、NeRF(Neural Radiance Field)を生成し、ほとんどの実アプリケーションでは実用的ではない。
第二に、これらのアプローチは過飽和モデルを生成する傾向があり、出力はマンガ的な効果を与える。
そこで本研究では,高度にリアルな3Dメッシュを生成する新しい手法を提案する。
この目的のために、NeRFをSDFバックボーンに拡張し、3Dメッシュ抽出を改善した。
さらに, メッシュテクスチャを微調整し, 高飽和の影響を除去し, 出力3Dメッシュの詳細を改善する新しい手法を提案する。
関連論文リスト
- 3D-SceneDreamer: Text-Driven 3D-Consistent Scene Generation [51.64796781728106]
本稿では,2次元拡散モデル以前の自然画像と,現在のシーンのグローバルな3次元情報を利用して,高品質で新しいコンテンツを合成する生成的精細化ネットワークを提案する。
提案手法は,視覚的品質と3次元の整合性を改善した多種多様なシーン生成と任意のカメラトラジェクトリをサポートする。
論文 参考訳（メタデータ） (2024-03-14T14:31:22Z) - ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。
我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
論文 参考訳（メタデータ） (2024-03-04T07:57:05Z) - EfficientDreamer: High-Fidelity and Robust 3D Creation via Orthogonal-view Diffusion Prior [59.25950280610409]
直交ビュー画像誘導を利用した高画質な3Dコンテンツ生成パイプラインを提案する。
本稿では,与えられたテキストプロンプトに基づいて4つのサブイメージからなる画像を生成する2次元拡散モデルを提案する。
また,生成した3Dコンテンツの詳細をさらに改善する3D合成ネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-25T07:39:26Z) - Articulated 3D Head Avatar Generation using Text-to-Image Diffusion
Models [107.84324544272481]
多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。
テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。
拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-07-10T19:15:32Z) - Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion
Prior [36.40582157854088]
本研究では,1枚の画像のみから高忠実度3Dコンテンツを作成する問題について検討する。
我々は、よく訓練された2D拡散モデルからの事前知識を活用し、3D生成のための3D認識監視として機能する。
本手法は,汎用オブジェクトの単一画像から高品質な3D作成を実現するための最初の試みであり,テキスト・ツー・3D作成やテクスチャ編集などの様々な応用を可能にする。
論文 参考訳（メタデータ） (2023-03-24T17:54:22Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-09-22T17:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。