論文の概要: Text-guided Controllable Mesh Refinement for Interactive 3D Modeling
- arxiv url: http://arxiv.org/abs/2406.01592v1
- Date: Mon, 3 Jun 2024 17:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 21:41:25.361760
- Title: Text-guided Controllable Mesh Refinement for Interactive 3D Modeling
- Title（参考訳）: 対話型3次元モデリングのためのテキスト誘導制御可能なメッシュ微細化
- Authors: Yun-Chun Chen, Selena Ling, Zhiqin Chen, Vladimir G. Kim, Matheus Gadelha, Alec Jacobson,
- Abstract要約: テキストプロンプトによって案内される入力粗い3Dメッシュに幾何学的詳細を加える新しい手法を提案する。
まず、入力粗い幾何学と入力テキストプロンプトに基づいて、単一のビューRGB画像を生成する。
第2に、新しいマルチビュー正規生成アーキテクチャを用いて、正常画像の6つの異なるビューを共同で生成する。
第3に、すべてのビューに対してメッシュを最適化し、出力として微細で詳細な幾何学を生成する。
- 参考スコア（独自算出の注目度）: 48.226234898333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel technique for adding geometric details to an input coarse 3D mesh guided by a text prompt. Our method is composed of three stages. First, we generate a single-view RGB image conditioned on the input coarse geometry and the input text prompt. This single-view image generation step allows the user to pre-visualize the result and offers stronger conditioning for subsequent multi-view generation. Second, we use our novel multi-view normal generation architecture to jointly generate six different views of the normal images. The joint view generation reduces inconsistencies and leads to sharper details. Third, we optimize our mesh with respect to all views and generate a fine, detailed geometry as output. The resulting method produces an output within seconds and offers explicit user control over the coarse structure, pose, and desired details of the resulting 3D mesh. Project page: https://text-mesh-refinement.github.io.
- Abstract（参考訳）: テキストプロンプトによって案内される入力粗い3Dメッシュに幾何学的詳細を加える新しい手法を提案する。
私たちの方法は3つの段階から成り立っている。
まず、入力粗い幾何学と入力テキストプロンプトに基づいて、単一のビューRGB画像を生成する。
このシングルビュー画像生成ステップにより、ユーザは結果の事前視覚化が可能になり、その後のマルチビュー生成に対してより強い条件付けを提供する。
第2に、新しいマルチビュー正規生成アーキテクチャを用いて、正常画像の6つの異なるビューを共同で生成する。
共同ビュー生成は矛盾を低減し、よりシャープな詳細をもたらす。
第3に、すべてのビューに対してメッシュを最適化し、出力として微細で詳細な幾何学を生成する。
得られた方法は、数秒以内に出力を生成し、粗い構造、ポーズ、および結果の3Dメッシュの所望の詳細を明示的なユーザ制御を提供する。
プロジェクトページ: https://text-mesh-refinement.github.io
関連論文リスト
- EASI-Tex: Edge-Aware Mesh Texturing from Single Image [12.942796503696194]
本稿では,オブジェクトのテクスチャを与えられた3Dメッシュオブジェクトにシームレスに転送する条件付き拡散モデルを用いて,単一画像に対する新しいアプローチを提案する。
2つの対象が同じ圏に属しているとは仮定せず、たとえそうであるとしても、その割合と部分比で相違があると仮定する。
論文 参考訳（メタデータ） (2024-05-27T17:46:22Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。
テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
論文 参考訳（メタデータ） (2023-12-13T18:59:30Z) - TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。
提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
論文 参考訳（メタデータ） (2023-12-07T12:10:05Z) - Consistent Mesh Diffusion [8.318075237885857]
UVパラメータ化による3Dメッシュを前提として,テキストプロンプトからテクスチャを生成する新しいアプローチを提案する。
当社のアプローチは、30メッシュを含むデータセット上で、メッシュ毎に約5分を要することを実証しています。
論文 参考訳（メタデータ） (2023-12-01T23:25:14Z) - TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。
レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。
構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
論文 参考訳（メタデータ） (2023-03-23T13:53:16Z) - Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models [21.622420436349245]
入力としてテキストプロンプトからルームスケールのテクスチャ化された3Dメッシュを生成する方法であるText2Roomを提案する。
我々は、事前訓練された2次元テキスト・画像モデルを利用して、異なるポーズから画像列を合成する。
これらの出力を一貫した3次元シーン表現に引き上げるために、単眼深度推定とテキスト条件のインペイントモデルを組み合わせる。
論文 参考訳（メタデータ） (2023-03-21T16:21:02Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Fine Detailed Texture Learning for 3D Meshes with Generative Models [33.42114674602613]
本稿では,多視点画像と単視点画像の両方から高品質なテクスチャ3Dモデルを再構成する手法を提案する。
第1段階では正確な幾何学を学ぶことに集中し、第2段階では、生成的対向ネットワークを用いてテクスチャを学ぶことに集中する。
本手法は従来の手法に比べて優れた3次元テクスチャモデルを実現することを実証する。
論文 参考訳（メタデータ） (2022-03-17T14:50:52Z) - MeshMVS: Multi-View Stereo Guided Mesh Reconstruction [35.763452474239955]
深層学習に基づく3次元形状生成法は、一般的に、カラー画像から抽出した潜時特徴を利用して、オブジェクトの意味を符号化する。
本稿では,多視点ステレオの中間深度表現の特徴を利用して,幾何情報を明確に取り入れたマルチビューメッシュ生成手法を提案する。
その結果,シェーファー距離が34%減少し,F1スコアが14%増加し,最先端のマルチビュー形状生成法よりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-10-17T00:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。