論文の概要: DragTex: Generative Point-Based Texture Editing on 3D Mesh

• arxiv url: http://arxiv.org/abs/2403.02217v1
• Date: Mon, 4 Mar 2024 17:05:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:09:15.710343
• Title: DragTex: Generative Point-Based Texture Editing on 3D Mesh
• Title（参考訳）: DragTex: 3Dメッシュによる生成ポイントベースのテクスチャ編集
• Authors: Yudi Zhang, Qi Xu, Lei Zhang
• Abstract要約: 本稿ではDragTexと呼ばれる3次元メッシュテクスチャ生成手法を提案する。 この方法は拡散モデルを用いて、変形したシルエット付近の局所的に不整合なテクスチャを異なる視点でブレンドする。 個々のビューを個別にトレーニングするのではなく、マルチビューイメージを使用してLoRAをトレーニングします。
• 参考スコア（独自算出の注目度）: 11.163205302136625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating 3D textured meshes using generative artificial intelligence has garnered significant attention recently. While existing methods support text-based generative texture generation or editing on 3D meshes, they often struggle to precisely control pixels of texture images through more intuitive interaction. While 2D images can be edited generatively using drag interaction, applying this type of methods directly to 3D mesh textures still leads to issues such as the lack of local consistency among multiple views, error accumulation and long training times. To address these challenges, we propose a generative point-based 3D mesh texture editing method called DragTex. This method utilizes a diffusion model to blend locally inconsistent textures in the region near the deformed silhouette between different views, enabling locally consistent texture editing. Besides, we fine-tune a decoder to reduce reconstruction errors in the non-drag region, thereby mitigating overall error accumulation. Moreover, we train LoRA using multi-view images instead of training each view individually, which significantly shortens the training time. The experimental results show that our method effectively achieves dragging textures on 3D meshes and generates plausible textures that align with the desired intent of drag interaction.
• Abstract（参考訳）: 生成型人工知能を用いた3dテクスチャメッシュの作成が注目されている。 既存の方法はテキストベースの生成テクスチャ生成や3Dメッシュの編集をサポートするが、より直感的なインタラクションによってテクスチャイメージのピクセルを正確に制御するのに苦労することが多い。 2dイメージはドラッグインタラクションを使って生成的に編集できるが、このタイプの手法を3dメッシュテクスチャに直接適用すると、複数のビュー間の局所的な一貫性の欠如、エラーの蓄積、トレーニング時間の長い問題が発生する。 これらの課題に対処するため,DragTexと呼ばれる3次元メッシュテクスチャ生成手法を提案する。 拡散モデルを用いて、変形したシルエット近傍の局所的不整合テクスチャを異なるビュー間でブレンドし、局所的一貫性のあるテクスチャ編集を可能にする。 さらに、デコーダを微調整し、非ドラグ領域の復元誤差を低減し、全体のエラー蓄積を軽減する。 さらに,各ビューを個別にトレーニングするのではなく,複数視点画像を用いてloraをトレーニングすることで,トレーニング時間を著しく短縮する。 実験結果から,本手法は3次元メッシュ上での引張りテクスチャを効果的に実現し,ドラッグインタラクションの目的と整合する可塑性テクスチャを生成する。

関連論文リスト

• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• MaTe3D: Mask-guided Text-based 3D-aware Portrait Editing [61.014328598895524]
  textbfMaTe3D:マスク誘導型テキストベースの3D画像編集を提案する。 SDFに基づく新しい3Dジェネレータは,SDFと密度の整合性損失により局所的およびグローバルな表現を学習する。 幾何とテクスチャの条件蒸留(CDGT)は視覚的曖昧さを軽減し、テクスチャと幾何学のミスマッチを避ける。
  論文  参考訳（メタデータ） (2023-12-12T03:04:08Z)
• GeoScaler: Geometry and Rendering-Aware Downsampling of 3D Mesh Textures [0.06990493129893112]
  高解像度テクスチャマップは、3Dメッシュで現実世界のオブジェクトを正確に表現するために必要である。 GeoScalerは幾何学的手がかりを取り入れつつ、3Dメッシュのテクスチャマップをダウンサンプリングする方法である。 また,GeoScalerが生成したテクスチャは,従来のダウンサンプリング手法に比べて,画質のよいレンダリング画像を提供することを示した。
  論文  参考訳（メタデータ） (2023-11-28T07:55:25Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• NeuTex: Neural Texture Mapping for Volumetric Neural Rendering [48.83181790635772]
  本稿では,ジオメトリ-連続3次元ボリューム-出現-連続2次元テクスチャマップとして表現-を明示的に切り離す手法を提案する。 我々は,この表現を多視点画像監視のみを用いて再構成し,高品質なレンダリング結果を生成することを実証した。
  論文  参考訳（メタデータ） (2021-03-01T05:34:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。