論文の概要: 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow

• arxiv url: http://arxiv.org/abs/2203.15190v1
• Date: Tue, 29 Mar 2022 02:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 14:28:37.579176
• Title: 3D Shape Reconstruction from 2D Images with Disentangled Attribute Flow
• Title（参考訳）: 不連続属性流を用いた2次元画像からの3次元形状復元
• Authors: Xin Wen and Junsheng Zhou and Yu-Shen Liu and Zhen Dong and Zhizhong Han
• Abstract要約: 単一の2D画像から3D形状を再構築することは難しい作業だ。 従来の手法の多くは3次元再構成作業における意味的属性の抽出に苦慮している。 本稿では,3DAttriFlowを用いて,入力画像の異なる意味レベルから意味的属性を抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 61.62796058294777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D shape from a single 2D image is a challenging task, which needs to estimate the detailed 3D structures based on the semantic attributes from 2D image. So far, most of the previous methods still struggle to extract semantic attributes for 3D reconstruction task. Since the semantic attributes of a single image are usually implicit and entangled with each other, it is still challenging to reconstruct 3D shape with detailed semantic structures represented by the input image. To address this problem, we propose 3DAttriFlow to disentangle and extract semantic attributes through different semantic levels in the input images. These disentangled semantic attributes will be integrated into the 3D shape reconstruction process, which can provide definite guidance to the reconstruction of specific attribute on 3D shape. As a result, the 3D decoder can explicitly capture high-level semantic features at the bottom of the network, and utilize low-level features at the top of the network, which allows to reconstruct more accurate 3D shapes. Note that the explicit disentangling is learned without extra labels, where the only supervision used in our training is the input image and its corresponding 3D shape. Our comprehensive experiments on ShapeNet dataset demonstrate that 3DAttriFlow outperforms the state-of-the-art shape reconstruction methods, and we also validate its generalization ability on shape completion task.
• Abstract（参考訳）: 1枚の2d画像から3d形状を再構築することは難しい作業であり、2d画像から意味的属性に基づいて詳細な3d構造を推定する必要がある。 これまでの方法では,3次元再構成作業における意味的属性の抽出に苦慮している。 単一の画像のセマンティック属性は通常暗黙的であり、互いに絡み合っているため、入力画像で表現される詳細なセマンティック構造を用いて3次元形状を再構築することは依然として困難である。 この問題に対処するために,入力画像の異なる意味レベルから意味的属性を抽出する3DAttriFlowを提案する。 これらの歪んだセマンティック属性は、3次元形状の再構成プロセスに統合され、3次元形状の特定の属性の再構成に関する明確なガイダンスを提供する。 その結果、3Dデコーダはネットワークの下部にある高レベルなセマンティックな特徴を明示的に捉え、ネットワークの上部にある低レベルな特徴を利用することで、より正確な3D形状を再構築することができる。 注意すべきは、明示的な分離は余分なラベルなしで学習され、トレーニングで使用される唯一の監督は入力画像とその3d形状である。 shapenet データセットに関する包括的実験により, 3dattriflow は最先端の形状復元手法よりも優れており, 形状完了タスクにおけるその一般化能力も検証した。

関連論文リスト

• 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
  ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。 私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
  論文  参考訳（メタデータ） (2023-07-19T10:44:44Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
  StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。 対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。 本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T18:49:50Z)
• Disentangling 3D Attributes from a Single 2D Image: Human Pose, Shape and Garment [20.17991487155361]
  本研究では,2次元画像データのみから不整合3次元属性を抽出する課題に焦点をあてる。 本手法は,これら3つの画像特性の非絡み合った潜在表現を用いた埋め込みを学習する。 本研究では, 暗黙的な形状の損失が, モデルが微細な復元の詳細を復元する上で, どのような効果があるかを示す。
  論文  参考訳（メタデータ） (2022-08-05T13:48:43Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Single-View 3D Object Reconstruction from Shape Priors in Memory [15.641803721287628]
  単一視点3次元オブジェクト再構成のための既存の方法は、高品質な3次元形状を再構築するのに十分な情報を含んでいない。 本稿では,画像中の不足情報を補うために,形状先行を明示的に構成するMem3Dという新しい手法を提案する。 また,入力画像と高い関連性を有する正確な3次元形状の検索を支援するボクセル三重項損失関数を提案する。
  論文  参考訳（メタデータ） (2020-03-08T03:51:07Z)
• Implicit Functions in Feature Space for 3D Shape Reconstruction and Completion [53.885984328273686]
  Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。 IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
  論文  参考訳（メタデータ） (2020-03-03T11:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。