論文の概要: Building 3D Generative Models from Minimal Data

• arxiv url: http://arxiv.org/abs/2203.02554v1
• Date: Fri, 4 Mar 2022 20:10:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 14:40:45.271395
• Title: Building 3D Generative Models from Minimal Data
• Title（参考訳）: 最小データによる3次元生成モデルの構築
• Authors: Skylar Sutherland, Bernhard Egger, Joshua Tenenbaum
• Abstract要約: 一つの3Dテンプレート(1人1人ではなく1人1人)で顔の認識が可能であることを示す。 我々は,1つの3次元テンプレートと少数の2次元画像を用いて,3次元顔の分布の学習を可能にする,予備的な教師なし学習フレームワークにモデルを拡張した。
• 参考スコア（独自算出の注目度）: 3.472931603805115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for constructing generative models of 3D objects from a single 3D mesh and improving them through unsupervised low-shot learning from 2D images. Our method produces a 3D morphable model that represents shape and albedo in terms of Gaussian processes. Whereas previous approaches have typically built 3D morphable models from multiple high-quality 3D scans through principal component analysis, we build 3D morphable models from a single scan or template. As we demonstrate in the face domain, these models can be used to infer 3D reconstructions from 2D data (inverse graphics) or 3D data (registration). Specifically, we show that our approach can be used to perform face recognition using only a single 3D template (one scan total, not one per person). We extend our model to a preliminary unsupervised learning framework that enables the learning of the distribution of 3D faces using one 3D template and a small number of 2D images. This approach could also provide a model for the origins of face perception in human infants, who appear to start with an innate face template and subsequently develop a flexible system for perceiving the 3D structure of any novel face from experience with only 2D images of a relatively small number of familiar faces.
• Abstract（参考訳）: 本研究では,単一の3dメッシュから3dオブジェクトの生成モデルを構築し,2d画像からの教師なし低ショット学習により改善する手法を提案する。 本手法は,ガウス過程の観点から形状とアルベドを表す3次元モーファブルモデルを生成する。 従来のアプローチでは、複数の高品質な3dスキャンからプリンシパルコンポーネント分析を通じて3d morphableモデルを構築してきたが、単一のスキャンやテンプレートから3d morphableモデルを構築する。 顔領域で示すように、これらのモデルは2次元データ(逆図形)や3次元データ(登録)から3次元再構成を推測することができる。 具体的には,1つの3dテンプレート(1人1人ではなく合計1つのスキャン)だけで顔認識を行うことができることを示す。 1つの3Dテンプレートと少数の2D画像を用いて3D顔の分布を学習できる予備的な教師なし学習フレームワークにモデルを拡張した。 このアプローチは、生来の顔テンプレートから始めて、新しい顔の3d構造を、比較的少数の親しみやすい顔の2dイメージだけで認識する柔軟なシステムを開発する、人間の幼児における顔知覚の起源のモデルを提供するかもしれない。

関連論文リスト

• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Sculpt3D: Multi-View Consistent Text-to-3D Generation with Sparse 3D Prior [57.986512832738704]
  本稿では,2次元拡散モデルを再学習することなく,抽出した参照オブジェクトから3次元先行を明示的に注入する,電流パイプラインを備えた新しいフレームワークSculpt3Dを提案する。 具体的には、スパース線サンプリングによるキーポイントの監督により、高品質で多様な3次元形状を保証できることを実証する。 これら2つの分離された設計は、参照オブジェクトからの3D情報を利用して、2D拡散モデルの生成品質を保ちながら、3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2024-03-14T07:39:59Z)
• Geometry aware 3D generation from in-the-wild images in ImageNet [18.157263188192434]
  本稿では,カメラポーズ情報のない多種多様な非構造化画像ネットから3次元形状を再構成する手法を提案する。 2次元画像から3次元モデルを学習し,StyleGAN2に基づいて生成元バックボーンのアーキテクチャを変更するために,効率的な三面体表現を用いる。 訓練されたジェネレータは、任意の視点からのレンダリングだけでなく、クラス条件の3Dモデルを生成することができる。
  論文  参考訳（メタデータ） (2024-01-31T23:06:39Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• Building 3D Morphable Models from a Single Scan [3.472931603805115]
  本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。 本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。 提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-11-24T23:08:14Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)
• FaceScape: a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction [39.95272819738226]
  単一画像入力から精巧な3次元顔モデルを予測できる新しいアルゴリズムを提案する。 FaceScapeデータセットは18,760のテクスチャ付き3D顔を提供する。
  論文  参考訳（メタデータ） (2020-03-31T07:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。