論文の概要: MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D

• arxiv url: http://arxiv.org/abs/2411.02336v1
• Date: Mon, 04 Nov 2024 17:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:39:24.797692
• Title: MVPaint: Synchronized Multi-View Diffusion for Painting Anything 3D
• Title（参考訳）: MVPaint:3Dペイントのための同期多視点拡散
• Authors: Wei Cheng, Juncheng Mu, Xianfang Zeng, Xin Chen, Anqi Pang, Chi Zhang, Zhibin Wang, Bin Fu, Gang Yu, Ziwei Liu, Liang Pan,
• Abstract要約: テクスチャリングは3Dアセット生産であり、視覚的魅力と視覚的魅力を高める。 近年の進歩にもかかわらず、メソッドは、主に局所的な不連続のために、しばしばサブパー結果をもたらす。 本稿では,高解像度かつシームレスなマルチビュー一貫性を実現するMVPaintという新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 63.9188712646076
• License:
• Abstract: Texturing is a crucial step in the 3D asset production workflow, which enhances the visual appeal and diversity of 3D assets. Despite recent advancements in Text-to-Texture (T2T) generation, existing methods often yield subpar results, primarily due to local discontinuities, inconsistencies across multiple views, and their heavy dependence on UV unwrapping outcomes. To tackle these challenges, we propose a novel generation-refinement 3D texturing framework called MVPaint, which can generate high-resolution, seamless textures while emphasizing multi-view consistency. MVPaint mainly consists of three key modules. 1) Synchronized Multi-view Generation (SMG). Given a 3D mesh model, MVPaint first simultaneously generates multi-view images by employing an SMG model, which leads to coarse texturing results with unpainted parts due to missing observations. 2) Spatial-aware 3D Inpainting (S3I). To ensure complete 3D texturing, we introduce the S3I method, specifically designed to effectively texture previously unobserved areas. 3) UV Refinement (UVR). Furthermore, MVPaint employs a UVR module to improve the texture quality in the UV space, which first performs a UV-space Super-Resolution, followed by a Spatial-aware Seam-Smoothing algorithm for revising spatial texturing discontinuities caused by UV unwrapping. Moreover, we establish two T2T evaluation benchmarks: the Objaverse T2T benchmark and the GSO T2T benchmark, based on selected high-quality 3D meshes from the Objaverse dataset and the entire GSO dataset, respectively. Extensive experimental results demonstrate that MVPaint surpasses existing state-of-the-art methods. Notably, MVPaint could generate high-fidelity textures with minimal Janus issues and highly enhanced cross-view consistency.
• Abstract（参考訳）: テクスチャリングは、3Dアセット生産ワークフローにおいて重要なステップであり、3Dアセットの視覚的魅力と多様性を高める。 最近のText-to-Texture (T2T) 生成の進歩にもかかわらず、既存の手法は、主に局所的な不連続性、複数のビューにまたがる不整合、UVアンラッピング結果への強い依存による、下位結果をもたらすことが多い。 これらの課題に対処するために,MVPaint という,高解像度でシームレスなテクスチャを生成するとともに,マルチビューの一貫性を重視した3Dテクスチャ生成フレームワークを提案する。 MVPaintは主に3つの主要なモジュールで構成されている。 1)SMG(Synchronized Multi-view Generation)。 3Dメッシュモデルが与えられた後、MVPaintはSMGモデルを用いてマルチビュー画像を同時に生成する。 2)空間対応3Dインペイント(S3I)。 3次元テクスチャの完全性を確保するため,従来観測されていなかった領域を効果的にテクスチャ化するS3I法を提案する。 3)UVR(UV Refinement)。 さらに、MVPaintはUV空間のテクスチャ品質を改善するためにUVRモジュールを使用し、UV空間のスーパーリゾリューションを最初に実行し、次いでUVアンラッピングによる空間テクスチャ不連続を修正するための空間認識シーム・スムーシングアルゴリズムを使用する。 さらに、Objaverseデータセットから選択した高品質な3Dメッシュと全GSOデータセットに基づいて、Objaverse T2TベンチマークとGSO T2Tベンチマークという2つのT2T評価ベンチマークを確立する。 MVPaintが既存の最先端手法を超越していることを示す大規模な実験結果が得られた。 特にMVPaintは、最小限のJanus問題と高度に拡張されたクロスビュー一貫性を備えた高忠実なテクスチャを生成することができる。

関連論文リスト

• MVInpainter: Learning Multi-View Consistent Inpainting to Bridge 2D and 3D Editing [90.30646271720919]
  新規ビュー合成(NVS)と3D生成は、最近顕著に改善されている。 我々はMVInpainterを提案し、3D編集を多視点2Dインペインティングタスクとして再フォーマットする。 MVInpainterは、スクラッチから完全に新しいビューを生成するのではなく、参照ガイダンスで複数のビューイメージを部分的に描き込む。
  論文  参考訳（メタデータ） (2024-08-15T07:57:28Z)
• VCD-Texture: Variance Alignment based 3D-2D Co-Denoising for Text-Guided Texturing [22.39760469467524]
  本研究では,2次元拡散モデルと3次元拡散モデルの間のモーダルギャップに対処する分散テクスチャ合成を提案する。 我々は、競合する領域との詳細な関係を改善するために、塗装モジュールを提示する。
  論文  参考訳（メタデータ） (2024-07-05T12:11:33Z)
• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation [41.959089177835764]
  TexDreamerは、最初のゼロショットマルチモーダル高忠実度3Dヒューマンテクスチャ生成モデルである。 ArTicuLated humAn textureSは,最大解像度(1024×1024)のヒトテクスチャデータセットである。
  論文  参考訳（メタデータ） (2024-03-19T17:02:07Z)
• Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models [34.715076045118444]
  Paint3Dは、テキストや画像入力の非テクスチャな3Dメッシュに対して、高解像度で、ライトレスで、多様な2K UVテクスチャマップを生成する。
  論文  参考訳（メタデータ） (2023-12-21T15:01:47Z)
• Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting [16.957766297050707]
  マルチビューバイアスを緩和し,テクスチャ劣化を緩和し,生成プロセスを高速化するRepaint123を提案する。 画像品質を向上させるために、重なり合う領域に対する可視性を考慮した適応的再塗装強度を提案する。 提案手法は,スクラッチから2分で高画質な3Dコンテンツを多視点整合性,微妙なテクスチャで生成する能力に優れる。
  論文  参考訳（メタデータ） (2023-12-20T18:51:02Z)
• TexFusion: Synthesizing 3D Textures with Text-Guided Image Diffusion Models [77.85129451435704]
  大規模誘導画像拡散モデルを用いて3次元テクスチャを合成する手法を提案する。 具体的には、潜時拡散モデルを利用し、セット・デノナイジング・モデルと集合・デノナイジング・テキスト・マップを適用する。
  論文  参考訳（メタデータ） (2023-10-20T19:15:29Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。