論文の概要: SketchBodyNet: A Sketch-Driven Multi-faceted Decoder Network for 3D
Human Reconstruction
- arxiv url: http://arxiv.org/abs/2310.06577v1
- Date: Tue, 10 Oct 2023 12:38:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 15:40:39.538113
- Title: SketchBodyNet: A Sketch-Driven Multi-faceted Decoder Network for 3D
Human Reconstruction
- Title（参考訳）: SketchBodyNet: 3次元再構成のためのスケッチ駆動多面デコーダネットワーク
- Authors: Fei Wang, Kongzhang Tang, Hefeng Wu, Baoquan Zhao, Hao Cai, Teng Zhou
- Abstract要約: そこで本研究では,SketchBodyNetと呼ばれるスケッチ駆動型マルチ顔デコーダネットワークを提案する。
我々のネットワークは,フリーハンドスケッチから3次元メッシュを再構築する際の優れた性能を実現している。
- 参考スコア（独自算出の注目度）: 18.443079472919635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing 3D human shapes from 2D images has received increasing
attention recently due to its fundamental support for many high-level 3D
applications. Compared with natural images, freehand sketches are much more
flexible to depict various shapes, providing a high potential and valuable way
for 3D human reconstruction. However, such a task is highly challenging. The
sparse abstract characteristics of sketches add severe difficulties, such as
arbitrariness, inaccuracy, and lacking image details, to the already badly
ill-posed problem of 2D-to-3D reconstruction. Although current methods have
achieved great success in reconstructing 3D human bodies from a single-view
image, they do not work well on freehand sketches. In this paper, we propose a
novel sketch-driven multi-faceted decoder network termed SketchBodyNet to
address this task. Specifically, the network consists of a backbone and three
separate attention decoder branches, where a multi-head self-attention module
is exploited in each decoder to obtain enhanced features, followed by a
multi-layer perceptron. The multi-faceted decoders aim to predict the camera,
shape, and pose parameters, respectively, which are then associated with the
SMPL model to reconstruct the corresponding 3D human mesh. In learning,
existing 3D meshes are projected via the camera parameters into 2D synthetic
sketches with joints, which are combined with the freehand sketches to optimize
the model. To verify our method, we collect a large-scale dataset of about 26k
freehand sketches and their corresponding 3D meshes containing various poses of
human bodies from 14 different angles. Extensive experimental results
demonstrate our SketchBodyNet achieves superior performance in reconstructing
3D human meshes from freehand sketches.
- Abstract（参考訳）: 2d画像からの3d形状復元は,高レベルな3dアプリケーションの多くに対する基礎的サポートにより,近年注目を集めている。
自然画像と比較すると、フリーハンドのスケッチは様々な形状を描くのにはるかに柔軟であり、人間の3D再構築に高い可能性と価値をもたらす。
しかし、そのような課題は非常に難しい。
スケッチのスパースな抽象的特徴は、2dから3dへの再構成の難解な問題に対して、任意性、不正確性、画像詳細の欠如といった深刻な困難をもたらす。
現在の手法は、単視点画像から3次元人体を再構築することに成功したが、フリーハンドスケッチではうまく機能していない。
本稿では,SketchBodyNetと呼ばれるスケッチ駆動型マルチフェイスデコーダネットワークを提案する。
具体的には、バックボーンと3つの別々のアテンションデコーダブランチで構成され、各デコーダにマルチヘッド自己アテンションモジュールを利用して機能強化を行い、その後にマルチ層パーセプトロンが続く。
多面デコーダは、それぞれカメラ、形状、ポーズパラメータを予測し、smplモデルに関連付けて対応する3d人間のメッシュを再構築することを目的としている。
学習では、既存の3Dメッシュはカメラパラメータを介して関節による2D合成スケッチに投影され、フリーハンドスケッチと組み合わせてモデルを最適化する。
提案手法を検証するため,約26kのフリーハンドスケッチの大規模データセットと,14種類の異なる角度から人体のさまざまなポーズを含む3Dメッシュを収集した。
広範な実験結果から,sketchbodynetはフリーハンドスケッチによる3次元メッシュの再構成において優れた性能を示す。
関連論文リスト
- Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。
我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
論文 参考訳（メタデータ） (2024-05-24T07:48:14Z) - En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D
Synthetic Data [36.51674664590734]
本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。
従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
論文 参考訳（メタデータ） (2024-01-02T12:06:31Z) - SHERF: Generalizable Human NeRF from a Single Image [59.10589479808622]
SHERFは、単一の入力画像からアニマタブルな3D人間を復元するための、最初の一般化可能なヒトNeRFモデルである。
本稿では,情報符号化を容易にするために,グローバル,ポイントレベル,ピクセルアライン機能など3D対応の階層的特徴バンクを提案する。
論文 参考訳（メタデータ） (2023-03-22T17:59:12Z) - 3DHumanGAN: 3D-Aware Human Image Generation with 3D Pose Mapping [37.14866512377012]
3DHumanGAN(3DHumanGAN)は、全身の人間の写実的な画像を合成する3D対応の対向ネットワークである。
本稿では,3次元ポーズマッピングネットワークによって2次元畳み込みバックボーンを変調する新しいジェネレータアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-12-14T17:59:03Z) - Interactive Sketching of Mannequin Poses [3.222802562733787]
3Dボディポーズは、様々なダウンストリームアプリケーションに必要である。
本研究では,シリンダーパーソナライズされた人間のスケッチからCGマネキンの3次元ポーズを推論する機械学習モデルを提案する。
ベクトルグラフィックストレーニングデータに対する我々のユニークなアプローチは、統合されたMLとキネマティクスシステムを支える。
論文 参考訳（メタデータ） (2022-12-14T08:45:51Z) - GET3D: A Generative Model of High Quality 3D Textured Shapes Learned
from Images [72.15855070133425]
本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。
GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
論文 参考訳（メタデータ） (2022-09-22T17:16:19Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - Gait Recognition in the Wild with Dense 3D Representations and A
Benchmark [86.68648536257588]
既存の歩行認識の研究は、制約されたシーンにおける人間の体のシルエットや骨格のような2D表現によって支配されている。
本稿では,野生における歩行認識のための高密度な3次元表現の探索を目的とする。
大規模な3D表現に基づく歩行認識データセットGait3Dを構築した。
論文 参考訳（メタデータ） (2022-04-06T03:54:06Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - 3DBooSTeR: 3D Body Shape and Texture Recovery [76.91542440942189]
3DBooSTeRは、部分的な3Dスキャンからテクスチャ化された3Dボディメッシュを復元する新しい方法である。
提案手法は形状とテクスチャの完成を2つの逐次的なタスクに分解する。
論文 参考訳（メタデータ） (2020-10-23T21:07:59Z) - 3D Shape Reconstruction from Free-Hand Sketches [42.15888734492648]
歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。
インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。
フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
論文 参考訳（メタデータ） (2020-06-17T07:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。