論文の概要: Building 3D Morphable Models from a Single Scan
- arxiv url: http://arxiv.org/abs/2011.12440v2
- Date: Thu, 30 Sep 2021 18:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 14:03:07.535545
- Title: Building 3D Morphable Models from a Single Scan
- Title（参考訳）: 単一走査による3次元形状モデルの構築
- Authors: Skylar Sutherland and Bernhard Egger and Joshua Tenenbaum
- Abstract要約: 本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。
本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。
提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
- 参考スコア（独自算出の注目度）: 3.472931603805115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a method for constructing generative models of 3D objects from a
single 3D mesh. Our method produces a 3D morphable model that represents shape
and albedo in terms of Gaussian processes. We define the shape deformations in
physical (3D) space and the albedo deformations as a combination of
physical-space and color-space deformations. Whereas previous approaches have
typically built 3D morphable models from multiple high-quality 3D scans through
principal component analysis, we build 3D morphable models from a single scan
or template. As we demonstrate in the face domain, these models can be used to
infer 3D reconstructions from 2D data (inverse graphics) or 3D data
(registration). Specifically, we show that our approach can be used to perform
face recognition using only a single 3D scan (one scan total, not one per
person), and further demonstrate how multiple scans can be incorporated to
improve performance without requiring dense correspondence. Our approach
enables the synthesis of 3D morphable models for 3D object categories where
dense correspondence between multiple scans is unavailable. We demonstrate this
by constructing additional 3D morphable models for fish and birds and use them
to perform simple inverse rendering tasks. We share the code used to generate
these models and to perform our inverse rendering and registration experiments.
- Abstract（参考訳）: 1つの3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。
本手法は,ガウス過程の観点から形状とアルベドを表す3次元モーファブルモデルを生成する。
物理(3次元)空間における形状変形とアルベド変形を物理空間と色空間の変形の組み合わせとして定義する。
従来のアプローチでは、複数の高品質な3dスキャンからプリンシパルコンポーネント分析を通じて3d morphableモデルを構築してきたが、単一のスキャンやテンプレートから3d morphableモデルを構築する。
顔領域で示すように、これらのモデルは2次元データ(逆図形)や3次元データ(登録)から3次元再構成を推測することができる。
具体的には,1つの3dスキャン(スキャン総数1個,個人1個ではなく)のみを使用して顔認識を行うことで,複数のスキャンを組み込むことにより,密接な対応を必要とせずに,パフォーマンスを向上させることができることを示す。
提案手法により,複数スキャン間の密接な対応が不可能な3次元オブジェクトカテゴリの3次元形態素モデルの合成が可能となる。
魚や鳥の3d変形可能なモデルを追加し、簡単な逆レンダリングタスクを実行することで、これを実証する。
これらのモデルを生成するために使用されるコードを共有し、逆レンダリングと登録の実験を行います。
関連論文リスト
- DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-06-06T17:58:15Z) - Learning to Generate 3D Shapes from a Single Example [28.707149807472685]
本稿では,入力形状の幾何学的特徴を空間的範囲にわたって捉えるために,マルチスケールのGANモデルを提案する。
我々は、外部の監督や手動のアノテーションを必要とせずに、基準形状のボクセルピラミッドで生成モデルを訓練する。
結果の形状は異なるスケールで変化を示し、同時に基準形状のグローバルな構造を保持する。
論文 参考訳（メタデータ） (2022-08-05T01:05:32Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳（メタデータ） (2022-03-29T22:03:18Z) - Building 3D Generative Models from Minimal Data [3.472931603805115]
一つの3Dテンプレート(1人1人ではなく1人1人)で顔の認識が可能であることを示す。
我々は,1つの3次元テンプレートと少数の2次元画像を用いて,3次元顔の分布の学習を可能にする,予備的な教師なし学習フレームワークにモデルを拡張した。
論文 参考訳（メタデータ） (2022-03-04T20:10:50Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳（メタデータ） (2021-08-31T18:33:55Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z) - A Convolutional Architecture for 3D Model Embedding [1.3858051019755282]
入力として3Dモデルを扱うディープラーニングアーキテクチャを提案する。
埋め込み表現は3Dオブジェクトの類似性評価を扱うのに役立つセマンティック情報を伝えることを示した。
論文 参考訳（メタデータ） (2021-03-05T15:46:47Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。