論文の概要: Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask

• arxiv url: http://arxiv.org/abs/2210.09148v1
• Date: Mon, 17 Oct 2022 14:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:55:51.759270
• Title: Pruning-based Topology Refinement of 3D Mesh using a 2D Alpha Mask
• Title（参考訳）: 2次元アルファマスクによる3次元メッシュのプルーニングによるトポロジー微細化
• Authors: Ga\"etan Landreau and Mohamed Tamaazousti
• Abstract要約: 本稿では,顔解析手法を用いて,任意の3次元メッシュのトポロジを洗練させる手法を提案する。 私たちのソリューションは、それぞれの顔を2次元のソフトマップとして描画する微分可能を利用しています。 我々のモジュールは3Dメッシュを生成するネットワークに非依存であるため、自己管理されたイメージベースの3D再構成パイプラインに簡単に接続することができる。
• 参考スコア（独自算出の注目度）: 6.103988053817792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-based 3D reconstruction has increasingly stunning results over the past few years with the latest improvements in computer vision and graphics. Geometry and topology are two fundamental concepts when dealing with 3D mesh structures. But the latest often remains a side issue in the 3D mesh-based reconstruction literature. Indeed, performing per-vertex elementary displacements over a 3D sphere mesh only impacts its geometry and leaves the topological structure unchanged and fixed. Whereas few attempts propose to update the geometry and the topology, all need to lean on costly 3D ground-truth to determine the faces/edges to prune. We present in this work a method that aims to refine the topology of any 3D mesh through a face-pruning strategy that extensively relies upon 2D alpha masks and camera pose information. Our solution leverages a differentiable renderer that renders each face as a 2D soft map. Its pixel intensity reflects the probability of being covered during the rendering process by such a face. Based on the 2D soft-masks available, our method is thus able to quickly highlight all the incorrectly rendered faces for a given viewpoint. Because our module is agnostic to the network that produces the 3D mesh, it can be easily plugged into any self-supervised image-based (either synthetic or natural) 3D reconstruction pipeline to get complex meshes with a non-spherical topology.
• Abstract（参考訳）: 画像ベースの3D再構成は、コンピュータビジョンとグラフィックスの最新の改良により、ここ数年で驚くほどの成果を上げている。 幾何学とトポロジーは、3Dメッシュ構造を扱う場合の基本概念である。 しかし、最新の問題は3dメッシュベースのレコンストラクションの文献に残ることが多い。 実際、3次元球面メッシュ上のバーテックスの初等的な変位は、その形状にのみ影響を与え、位相構造を不変に固定する。 幾何やトポロジを更新する試みはほとんどないが、顔や縁を決定づけるためには、コストのかかる3Dグラウンドトルースに頼らなければならない。 本稿では,2dアルファマスクとカメラのポーズ情報に大きく依存する顔のプルーニング戦略を通じて,任意の3dメッシュのトポロジーを洗練することを目的とした手法を提案する。 我々のソリューションは、それぞれの顔を2次元のソフトマップとしてレンダリングする微分可能なレンダラーを活用する。 そのピクセル強度は、そのような顔によってレンダリングプロセス中にカバーされる確率を反映している。 利用可能な2次元ソフトマスクに基づき、任意の視点で不正確なレンダリングされた顔をすべて素早くハイライトすることができる。 我々のモジュールは3Dメッシュを生成するネットワークに非依存であるため、任意の自己監督型イメージベース(合成または自然な)3D再構成パイプラインに簡単に接続して、非球面トポロジーで複雑なメッシュを得ることができる。

関連論文リスト

• 3D-GANTex: 3D Face Reconstruction with StyleGAN3-based Multi-View Images and 3DDFA based Mesh Generation [0.8479659578608233]
  本稿では,StyleGAN と 3D Morphable Models を用いた単一画像からのテクスチャ推定手法を提案する。 その結果, 生成したメッシュは質が高く, テクスチャ表現がほぼ正確であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-21T13:42:06Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Monocular 3D Object Reconstruction with GAN Inversion [122.96094885939146]
  MeshInversionはテクスチャ化された3Dメッシュの再構築を改善するための新しいフレームワークである。 これは、3Dテクスチャメッシュ合成のために事前訓練された3D GANの生成前を利用する。 本フレームワークは,観察部と観察部の両方で一貫した形状とテクスチャを有する忠実な3次元再構成を実現する。
  論文  参考訳（メタデータ） (2022-07-20T17:47:22Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Topologically Consistent Multi-View Face Inference Using Volumetric Sampling [25.001398662643986]
  ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。 新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。 これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:55:08Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• NeuTex: Neural Texture Mapping for Volumetric Neural Rendering [48.83181790635772]
  本稿では,ジオメトリ-連続3次元ボリューム-出現-連続2次元テクスチャマップとして表現-を明示的に切り離す手法を提案する。 我々は,この表現を多視点画像監視のみを用いて再構成し,高品質なレンダリング結果を生成することを実証した。
  論文  参考訳（メタデータ） (2021-03-01T05:34:51Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。