論文の概要: 3Deformer: A Common Framework for Image-Guided Mesh Deformation
- arxiv url: http://arxiv.org/abs/2307.09892v1
- Date: Wed, 19 Jul 2023 10:44:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-20 14:27:45.939002
- Title: 3Deformer: A Common Framework for Image-Guided Mesh Deformation
- Title（参考訳）: 3deformer: イメージ誘導メッシュ変形のための共通フレームワーク
- Authors: Hao Su, Xuefeng Liu, Jianwei Niu, Ji Wan, Xinghao Wu
- Abstract要約: ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
- 参考スコア（独自算出の注目度）: 27.732389685912214
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose 3Deformer, a general-purpose framework for interactive 3D shape
editing. Given a source 3D mesh with semantic materials, and a user-specified
semantic image, 3Deformer can accurately edit the source mesh following the
shape guidance of the semantic image, while preserving the source topology as
rigid as possible. Recent studies of 3D shape editing mostly focus on learning
neural networks to predict 3D shapes, which requires high-cost 3D training
datasets and is limited to handling objects involved in the datasets. Unlike
these studies, our 3Deformer is a non-training and common framework, which only
requires supervision of readily-available semantic images, and is compatible
with editing various objects unlimited by datasets. In 3Deformer, the source
mesh is deformed utilizing the differentiable renderer technique, according to
the correspondences between semantic images and mesh materials. However,
guiding complex 3D shapes with a simple 2D image incurs extra challenges, that
is, the deform accuracy, surface smoothness, geometric rigidity, and global
synchronization of the edited mesh should be guaranteed. To address these
challenges, we propose a hierarchical optimization architecture to balance the
global and local shape features, and propose further various strategies and
losses to improve properties of accuracy, smoothness, rigidity, and so on.
Extensive experiments show that our 3Deformer is able to produce impressive
results and reaches the state-of-the-art level.
- Abstract（参考訳）: インタラクティブな3次元形状編集のための汎用フレームワークである3Deformerを提案する。
セマンティック素材を備えたソース3Dメッシュとユーザ特定セマンティックイメージとが与えられた3Deformerは、ソーストポロジを可能な限り固く保ちながら、セマンティックイメージの形状ガイダンスに従ってソースメッシュを正確に編集することができる。
最近の3d形状編集の研究は、主に3d形状を予測するためにニューラルネットワークを学習することに焦点を当てている。
これらの研究と異なり、我々の3deformerは非トレーニングで共通のフレームワークであり、容易に利用可能なセマンティックイメージの監督しか必要とせず、データセットによって無制限にさまざまなオブジェクトを編集できる。
3deformerでは、ソースメッシュは、セマンティクスイメージとメッシュ素材の対応に従って、微分可能なレンダラ技術を用いて変形する。
しかし、単純な2次元画像で複雑な3次元形状を導くことは、変形精度、表面の滑らかさ、幾何剛性、および編集メッシュのグローバル同期を保証するという余分な課題を引き起こす。
これらの課題に対処するため,グローバルな形状と局所的な形状のバランスをとる階層的最適化アーキテクチャを提案し,精度,滑らかさ,剛性などの特性を改善するための様々な戦略と損失を提案する。
大規模な実験により、我々の3Dformerは印象的な結果をもたらし、最先端のレベルに到達できることがわかった。
関連論文リスト
- Robust 3D Tracking with Quality-Aware Shape Completion [67.9748164949519]
そこで本研究では,高密度および完全点の雲からなる合成対象表現について,ロバストな3次元追跡のための形状完備化により正確に表現する。
具体的には, 形状が整ったボキセル化3次元追跡フレームワークを設計し, ノイズのある歴史的予測の悪影響を軽減するために, 品質に配慮した形状完備化機構を提案する。
論文 参考訳（メタデータ） (2023-12-17T04:50:24Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳（メタデータ） (2023-06-29T17:17:57Z) - TextDeformer: Geometry Manipulation using Text Guidance [37.02412892926677]
本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。
私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。
この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
論文 参考訳（メタデータ） (2023-04-26T07:38:41Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳（メタデータ） (2022-12-14T18:49:50Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape
Laplacian [58.704089101826774]
形状分類と変形型に最小限の制約を課した3次元画像変形法を提案する。
点雲として表される3次元再構成の基底体積のラプラシアン形状を予測するために,教師付き学習に基づくアプローチを採用する。
実験では,2次元キャラクタと人間の衣料画像の変形実験を行った。
論文 参考訳（メタデータ） (2022-03-29T04:57:18Z) - 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow [61.62796058294777]
単一の2D画像から3D形状を再構築することは難しい作業だ。
従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。
本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
論文 参考訳（メタデータ） (2022-03-29T02:03:31Z) - Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。
我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。
深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
論文 参考訳（メタデータ） (2021-08-10T12:19:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。