論文の概要: Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian

• arxiv url: http://arxiv.org/abs/2203.15235v1
• Date: Tue, 29 Mar 2022 04:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 15:15:38.387824
• Title: Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian
• Title（参考訳）: ポップアウトモーション:形状ラプラシアン学習による3次元画像変形
• Authors: Jihyun Lee, Minhyuk Sung, Hyunjin Kim, Tae-Kyun Kim
• Abstract要約: 形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。 点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
• 参考スコア（独自算出の注目度）: 58.704089101826774
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose a framework that can deform an object in a 2D image as it exists in 3D space. Most existing methods for 3D-aware image manipulation are limited to (1) only changing the global scene information or depth, or (2) manipulating an object of specific categories. In this paper, we present a 3D-aware image deformation method with minimal restrictions on shape category and deformation type. While our framework leverages 2D-to-3D reconstruction, we argue that reconstruction is not sufficient for realistic deformations due to the vulnerability to topological errors. Thus, we propose to take a supervised learning-based approach to predict the shape Laplacian of the underlying volume of a 3D reconstruction represented as a point cloud. Given the deformation energy calculated using the predicted shape Laplacian and user-defined deformation handles (e.g., keypoints), we obtain bounded biharmonic weights to model plausible handle-based image deformation. In the experiments, we present our results of deforming 2D character and clothed human images. We also quantitatively show that our approach can produce more accurate deformation weights compared to alternative methods (i.e., mesh reconstruction and point cloud Laplacian methods).
• Abstract（参考訳）: 本研究では,2次元画像中の物体を3次元空間内に存在するように変形するフレームワークを提案する。 既存の3D画像操作法は,(1)大域的なシーン情報や深度だけを変えること,(2)特定のカテゴリのオブジェクトを操作することに限定されている。 本稿では,形状カテゴリと変形タイプに最小限の制約を課した3次元画像変形法を提案する。 筆者らのフレームワークは2次元から3次元の再構成を利用するが, トポロジ的誤りによる現実的な変形には不十分である。 そこで本研究では,3次元再構成の底部体積のラプラシアン形状を点雲として予測するために,教師付き学習に基づくアプローチを提案する。 予測形状 Laplacian とユーザ定義変形ハンドル (キーポイントなど) を用いて計算した変形エネルギーを考慮し, 有界双調和重みを求める。 実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。 また,提案手法が代替法(メッシュ再構成法,ポイントクラウドラプラシアン法)と比較して,より正確な変形重みを発生できることを定量的に示す。

関連論文リスト

• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• To The Point: Correspondence-driven monocular 3D category reconstruction [39.811816510186475]
  To The Point (TTP) は、弱い監督から学んだ2Dから3D対応を用いて、単一の画像から3Dオブジェクトを再構成する手法である。 我々は、CNNによるカメラポーズと非剛性変形の回帰を置き換え、より正確な3D再構成を得る。
  論文  参考訳（メタデータ） (2021-06-10T11:21:14Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。