論文の概要: StylePart: Image-based Shape Part Manipulation
- arxiv url: http://arxiv.org/abs/2111.10520v2
- Date: Tue, 23 Nov 2021 23:46:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 12:29:40.074619
- Title: StylePart: Image-based Shape Part Manipulation
- Title（参考訳）: stylepart: 画像ベースの形状部分操作
- Authors: I-Chao Shen, Li-Wen Su, Yu-Ting Wu, Bing-Yu Chen
- Abstract要約: StylePartは、画像と3D形状の両方の生成モデルを活用することにより、画像の直接的な形状操作を可能にするフレームワークである。
我々の重要な貢献は、画像生成潜時空間と3次元人造形状属性潜時空間を接続する形状一貫性潜時写像関数である。
我々は、部品交換、部品のリサイズ、視点操作を含む様々な操作タスクを通じて、我々のアプローチを実証する。
- 参考スコア（独自算出の注目度）: 12.441476696381814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to a lack of image-based "part controllers", shape manipulation of
man-made shape images, such as resizing the backrest of a chair or replacing a
cup handle is not intuitive. To tackle this problem, we present StylePart, a
framework that enables direct shape manipulation of an image by leveraging
generative models of both images and 3D shapes. Our key contribution is a
shape-consistent latent mapping function that connects the image generative
latent space and the 3D man-made shape attribute latent space. Our method
"forwardly maps" the image content to its corresponding 3D shape attributes,
where the shape part can be easily manipulated. The attribute codes of the
manipulated 3D shape are then "backwardly mapped" to the image latent code to
obtain the final manipulated image. We demonstrate our approach through various
manipulation tasks, including part replacement, part resizing, and viewpoint
manipulation, and evaluate its effectiveness through extensive ablation
studies.
- Abstract（参考訳）: イメージベースの「パーツコントローラ」が欠如しているため、椅子の背もたれを縮小したりカップハンドルを交換したりといった人造形状画像の形状操作は直感的ではない。
そこで本稿では,画像と3次元形状の生成モデルを利用して,画像の直接形状操作を可能にするフレームワークstylepartを提案する。
我々の重要な貢献は、画像生成潜時空間と3次元人造形状属性潜時空間を接続する形状一貫性潜時写像関数である。
本手法は, 形状部を容易に操作できる3次元形状属性に対して, 画像内容を「フォワードマップ」する。
そして、操作された3D形状の属性コードを画像潜在コードに「後方マッピング」して最終操作画像を得る。
提案手法は,部分置換,部分リサイズ,視点操作など様々な操作タスクを通じて実証し,広範なアブレーション研究を通じてその効果を評価する。
関連論文リスト
- Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳（メタデータ） (2023-06-29T17:17:57Z) - Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。
グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2022-07-24T19:22:57Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
単一の2D画像から3D形状を再構築することは難しい作業だ。
従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。
本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T02:03:31Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳（メタデータ） (2021-07-28T20:29:16Z) - Single-View 3D Object Reconstruction from Shape Priors in Memory [15.641803721287628]
単一視点3次元オブジェクト再構成のための既存の方法は、高品質な3次元形状を再構築するのに十分な情報を含んでいない。
本稿では,画像中の不足情報を補うために,形状先行を明示的に構成するMem3Dという新しい手法を提案する。
また,入力画像と高い関連性を有する正確な3次元形状の検索を支援するボクセル三重項損失関数を提案する。
論文 参考訳（メタデータ） (2020-03-08T03:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。