論文の概要: Semantify: Simplifying the Control of 3D Morphable Models using CLIP
- arxiv url: http://arxiv.org/abs/2308.07415v1
- Date: Mon, 14 Aug 2023 19:07:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 14:59:11.523896
- Title: Semantify: Simplifying the Control of 3D Morphable Models using CLIP
- Title（参考訳）: Semantify: CLIPによる3Dモーフィブルモデルの制御の簡易化
- Authors: Omer Gralnik, Guy Gafni, Ariel Shamir
- Abstract要約: Semantify: CLIP言語ビジョン基盤モデルのセマンティックパワーを利用する自己教師型手法。
身体形状モデル,顔形状モデル,表情モデル,動物形状モデルなど,多数の3DMMの結果を提示する。
- 参考スコア（独自算出の注目度）: 16.74483439465574
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present Semantify: a self-supervised method that utilizes the semantic
power of CLIP language-vision foundation model to simplify the control of 3D
morphable models. Given a parametric model, training data is created by
randomly sampling the model's parameters, creating various shapes and rendering
them. The similarity between the output images and a set of word descriptors is
calculated in CLIP's latent space. Our key idea is first to choose a small set
of semantically meaningful and disentangled descriptors that characterize the
3DMM, and then learn a non-linear mapping from scores across this set to the
parametric coefficients of the given 3DMM. The non-linear mapping is defined by
training a neural network without a human-in-the-loop. We present results on
numerous 3DMMs: body shape models, face shape and expression models, as well as
animal shapes. We demonstrate how our method defines a simple slider interface
for intuitive modeling, and show how the mapping can be used to instantly fit a
3D parametric body shape to in-the-wild images.
- Abstract（参考訳）: 本稿では,CLIP言語ビジョン基盤モデルのセマンティフィケーション力を利用して3次元形態素モデルの制御を簡素化する自己教師型手法Semantifyを提案する。
パラメトリックモデルが与えられた場合、モデルのパラメータをランダムにサンプリングし、さまざまな形状を作成してレンダリングすることで、トレーニングデータを生成する。
出力画像と単語記述子の集合との類似性はクリップの潜在空間で計算される。
私たちのキーとなるアイデアは、まず3DMMの特徴を特徴づける意味論的に有意で不整合な記述子の小さなセットを選択し、次に、このセットから与えられた3DMMのパラメトリック係数への非線形マッピングを学習することです。
非線形マッピングは、人間のループなしでニューラルネットワークをトレーニングすることによって定義される。
身体形状モデル,顔形状モデル,表情モデル,動物形状モデルなど,多数の3DMMについて検討した。
本手法は,直感的モデリングのためのシンプルなスライダインタフェースを定義する方法を示し,そのマッピングを用いて3dパラメトリックな物体形状を野生画像に即応させる方法を示す。
関連論文リスト
- Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳（メタデータ） (2022-03-29T22:03:18Z) - Text to Mesh Without 3D Supervision Using Limit Subdivision [13.358081015190255]
本稿では,ターゲットテキストプロンプトのみを用いた3次元モデルのゼロショット生成手法を提案する。
入力テキストプロンプトを3Dモデルの異なるレンダリング画像と比較する、事前訓練されたCLIPモデルに依存しています。
論文 参考訳（メタデータ） (2022-03-24T20:36:28Z) - Template NeRF: Towards Modeling Dense Shape Correspondences from
Category-Specific Object Images [4.662583832063716]
本研究では, テンプレートを用いたNeRF(Near Raddiance Field)を, 外観や形状をモデル化するためのテンプレートとして提示する。
多視点画像のみから同一カテゴリのオブジェクト間の密な形状対応を同時に生成する。
学習された高密度対応は、キーポイント検出、部分分割、テクスチャ転送など、様々な画像ベースのタスクに容易に利用できる。
論文 参考訳（メタデータ） (2021-11-08T02:16:48Z) - Learning Free-Form Deformation for 3D Face Reconstruction from
In-The-Wild Images [19.799466588741836]
本稿では,自由形変形(FFD)による3次元顔メッシュの再構成を初めて行う学習手法を提案する。
複数のデータセットに対する実験により,2次元顔画像から3次元顔形状と表情をうまく推定する方法が実証された。
論文 参考訳（メタデータ） (2021-05-31T10:19:20Z) - Learning Feature Aggregation for Deep 3D Morphable Models [57.1266963015401]
階層レベルで機能集約を向上するためのマッピング行列を学習するための注意に基づくモジュールを提案する。
実験の結果,マッピング行列のエンドツーエンドトレーニングにより,様々な3次元形状データセットの最先端結果が得られることがわかった。
論文 参考訳（メタデータ） (2021-05-05T16:41:00Z) - Building 3D Morphable Models from a Single Scan [3.472931603805115]
本研究では,単一の3次元メッシュから3次元オブジェクトの生成モデルを構築する手法を提案する。
本手法はガウス過程で形状とアルベドを表す3次元形状モデルを生成する。
提案手法は, 単一の3次元スキャンのみを用いて顔認識を行うことができることを示す。
論文 参考訳（メタデータ） (2020-11-24T23:08:14Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳（メタデータ） (2020-08-28T15:44:05Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳（メタデータ） (2020-07-22T13:46:14Z) - Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。
局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。
本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
論文 参考訳（メタデータ） (2020-04-21T13:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。