論文の概要: Fancy123: One Image to High-Quality 3D Mesh Generation via Plug-and-Play Deformation

• arxiv url: http://arxiv.org/abs/2411.16185v1
• Date: Mon, 25 Nov 2024 08:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:20:29.344270
• Title: Fancy123: One Image to High-Quality 3D Mesh Generation via Plug-and-Play Deformation
• Title（参考訳）: Fancy123: プラグイン・アンド・プレイによる高品質な3Dメッシュ生成
• Authors: Qiao Yu, Xianzhi Li, Yuan Tang, Xu Han, Long Hu, Yixue Hao, Min Chen,
• Abstract要約: 2つの拡張モジュールと、上記の3つの問題に対処するための未投射操作を備えたFancy123を提案する。 外観強調モジュールは、2Dマルチビューイメージをリアルピクセルに変形させて、より優れたマルチビュー一貫性を実現する。 忠実度向上モジュールは、入力画像に一致するように3Dメッシュを変形させる。 入力画像と変形したマルチビュー画像をLRMの生成されたメッシュに投影することで、高い明快さが保証される。
• 参考スコア（独自算出の注目度）: 22.5996658181606
• License:
• Abstract: Generating 3D meshes from a single image is an important but ill-posed task. Existing methods mainly adopt 2D multiview diffusion models to generate intermediate multiview images, and use the Large Reconstruction Model (LRM) to create the final meshes. However, the multiview images exhibit local inconsistencies, and the meshes often lack fidelity to the input image or look blurry. We propose Fancy123, featuring two enhancement modules and an unprojection operation to address the above three issues, respectively. The appearance enhancement module deforms the 2D multiview images to realign misaligned pixels for better multiview consistency. The fidelity enhancement module deforms the 3D mesh to match the input image. The unprojection of the input image and deformed multiview images onto LRM's generated mesh ensures high clarity, discarding LRM's predicted blurry-looking mesh colors. Extensive qualitative and quantitative experiments verify Fancy123's SoTA performance with significant improvement. Also, the two enhancement modules are plug-and-play and work at inference time, allowing seamless integration into various existing single-image-to-3D methods.
• Abstract（参考訳）: 単一のイメージから3Dメッシュを生成することは、重要だが不適切な作業である。 既存の手法は主に2次元多視点拡散モデルを用いて中間的多視点画像を生成し、Large Restruction Model (LRM) を用いて最終メッシュを生成する。 しかし、マルチビュー画像は局所的な矛盾を示し、メッシュは入力画像への忠実さや曖昧さに欠けることが多い。 2つの拡張モジュールと、上記の3つの問題に対処する未投射操作を備えたFancy123を提案する。 外観強調モジュールは、2Dのマルチビューイメージを、より優れたマルチビュー整合性を実現するために、不整合画素に変形させる。 忠実度向上モジュールは、入力画像に一致するように3Dメッシュを変形させる。 入力画像と変形したマルチビュー画像をLRMの生成されたメッシュに投影することで、高い明快さを保証し、LRMの予測されたぼやけたメッシュ色を破棄する。 大規模な定性的および定量的実験により、Fancy123のSoTA性能は大幅に向上した。 また、2つの拡張モジュールはプラグイン・アンド・プレイであり、推論時に動作し、既存の様々な単一画像から3Dメソッドへのシームレスな統合を可能にする。

関連論文リスト

• AugGS: Self-augmented Gaussians with Structural Masks for Sparse-view 3D Reconstruction [9.953394373473621]
  スパースビュー3D再構成はコンピュータビジョンにおける大きな課題である。 本研究では,スパース・ビュー3D再構成のための構造マスクを付加した自己拡張型2段ガウス・スプレイティング・フレームワークを提案する。 提案手法は,認識品質における最先端性能と,スパース入力との多視点整合性を実現する。
  論文  参考訳（メタデータ） (2024-08-09T03:09:22Z)
• Multi-View Large Reconstruction Model via Geometry-Aware Positional Encoding and Attention [54.66152436050373]
  本稿では,M-LRM(Multi-view Large Restruction Model)を提案する。 具体的には、M-LRMが入力画像から情報を正確にクエリできるマルチビュー整合型クロスアテンション方式を提案する。 従来の手法と比較して,提案手法は高忠実度の3次元形状を生成することができる。
  論文  参考訳（メタデータ） (2024-06-11T18:29:13Z)
• Bootstrap3D: Improving Multi-view Diffusion Model with Synthetic Data [80.92268916571712]
  重要なボトルネックは、詳細なキャプションを持つ高品質な3Dオブジェクトの不足である。 本稿では,任意の量のマルチビュー画像を自動的に生成する新しいフレームワークBootstrap3Dを提案する。 我々は高画質合成多視点画像100万枚を高密度記述キャプションで生成した。
  論文  参考訳（メタデータ） (2024-05-31T17:59:56Z)
• Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention [87.02613021058484]
  単一視点画像から高解像度のマルチビュー画像を生成する新しい多視点拡散法であるEra3Dを紹介する。 Era3Dは、最大512*512の解像度で高品質なマルチビュー画像を生成し、複雑さを12倍に削減する。
  論文  参考訳（メタデータ） (2024-05-19T17:13:16Z)
• MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View [0.0]
  本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。 提案モデルは,PSNR,SSIM,LPIPSなどの評価指標において,ベースライン法を超える3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-05-06T22:55:53Z)
• Magic-Boost: Boost 3D Generation with Multi-View Conditioned Diffusion [101.15628083270224]
  本稿では,高忠実度新鮮映像を合成する多視点拡散モデルを提案する。 次に,得られた粗い結果を精査するための厳密なガイダンスを提供するために,新しい反復更新戦略を導入する。 実験の結果、Magic-Boostは粗いインプットを大幅に強化し、リッチな幾何学的およびテクスチュラルな詳細を持つ高品質な3Dアセットを生成する。
  論文  参考訳（メタデータ） (2024-04-09T16:20:03Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation [51.19871052619077]
  テキストプロンプトやシングルビュー画像から高解像度の3Dモデルを生成するための新しいフレームワークであるLarge Multi-View Gaussian Model (LGM)を紹介する。 我々は,5秒以内に3Dオブジェクトを生成する高速な速度を維持しながら,トレーニング解像度を512に向上し,高解像度な3Dコンテンツ生成を実現する。
  論文  参考訳（メタデータ） (2024-02-07T17:57:03Z)
• ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion [61.37481051263816]
  本稿では,1つの3Dオブジェクトのイメージが与えられた場合,同じオブジェクトの複数の画像を生成できる手法(ConsistNet)を提案する。 凍結したZero123のバックボーン上での3次元の一貫性を効果的に学習し、1つのA100 GPU上で40秒以内でオブジェクトの周囲のビューを生成する。
  論文  参考訳（メタデータ） (2023-10-16T12:29:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。