論文の概要: ICON: Implicit Clothed humans Obtained from Normals

• arxiv url: http://arxiv.org/abs/2112.09127v1
• Date: Thu, 16 Dec 2021 18:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 14:58:30.578423
• Title: ICON: Implicit Clothed humans Obtained from Normals
• Title（参考訳）: ICON:普通の人から服を盗まれる
• Authors: Yuliang Xiu, Jinlong Yang, Dimitrios Tzionas and Michael J. Black
• Abstract要約: 入念な機能は、髪や服などの細部をキャプチャできるので、最初のタスクに適している。 ICON は、SMPL(-X) の正常に条件付けされた詳細な布-ヒトの正常を推測する。 ICONは、Wild画像から頑丈な3D服を復元する一歩を踏み出した。
• 参考スコア（独自算出の注目度）: 49.5397825300977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current methods for learning realistic and animatable 3D clothed avatars need either posed 3D scans or 2D images with carefully controlled user poses. In contrast, our goal is to learn the avatar from only 2D images of people in unconstrained poses. Given a set of images, our method estimates a detailed 3D surface from each image and then combines these into an animatable avatar. Implicit functions are well suited to the first task, as they can capture details like hair or clothes. Current methods, however, are not robust to varied human poses and often produce 3D surfaces with broken or disembodied limbs, missing details, or non-human shapes. The problem is that these methods use global feature encoders that are sensitive to global pose. To address this, we propose ICON ("Implicit Clothed humans Obtained from Normals"), which uses local features, instead. ICON has two main modules, both of which exploit the SMPL(-X) body model. First, ICON infers detailed clothed-human normals (front/back) conditioned on the SMPL(-X) normals. Second, a visibility-aware implicit surface regressor produces an iso-surface of a human occupancy field. Importantly, at inference time, a feedback loop alternates between refining the SMPL(-X) mesh using the inferred clothed normals and then refining the normals. Given multiple reconstructed frames of a subject in varied poses, we use SCANimate to produce an animatable avatar from them. Evaluation on the AGORA and CAPE datasets shows that ICON outperforms the state of the art in reconstruction, even with heavily limited training data. Additionally, it is much more robust to out-of-distribution samples, e.g., in-the-wild poses/images and out-of-frame cropping. ICON takes a step towards robust 3D clothed human reconstruction from in-the-wild images. This enables creating avatars directly from video with personalized and natural pose-dependent cloth deformation.
• Abstract（参考訳）: リアルで写実的な3d服を着たアバターを学習するには、3dスキャンや2d画像が必要となる。 対照的に、我々のゴールは、制約のないポーズの人の2D画像のみからアバターを学習することである。 画像のセットが与えられると、各画像から詳細な3d表面を推定し、それらをアニメーション可能なアバターに合成する。 暗黙的な機能は最初のタスクに適しており、髪や服などの詳細をキャプチャできる。 しかし、現在の手法は人間のポーズに頑丈ではなく、しばしば手足の骨折や脱落、詳細の欠如、人体以外の形状の3D表面を生成する。 問題は、これらの手法がグローバルなポーズに敏感なグローバルな特徴エンコーダを使用することだ。 そこで我々は,局所的特徴を用いたICON(Implicit Clothed Human Obtained from Normals)を提案する。 ICONには2つの主要なモジュールがあり、どちらもSMPL(-X)ボディモデルを利用している。 第一に、ICONはSMPL(-X)の正常を条件に、詳細な布地と人間の正常(前/後ろ)を推測する。 第2に、視認可能な暗黙の表面回帰器は、ヒトの占有領域のアイソサーフェスを生成する。 重要なことは、推論時に、フィードバックループは、推論された布の正規度を使用してSMPL(-X)メッシュを精製し、正常度を精製する。 ポーズの異なる被写体の複数の再構成フレームが与えられた場合、SCANimateを用いてアニマタブルなアバターを生成する。 AGORAデータセットとCAPEデータセットの評価から、ICONは、非常に限られたトレーニングデータであっても、再構築時の芸術の状態を上回ります。 さらに、例えば、野生のポーズ/イメージや枠外の収穫など、流通外のサンプルに対してより堅牢である。 ICONは、Wild画像から頑丈な3D服を復元する。 これにより、パーソナライズされた自然なポーズ依存の布の変形でビデオから直接アバターを作成することができる。

関連論文リスト

• AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars Using 2D Diffusion [34.609403685504944]
  ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。 我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。 また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
  論文  参考訳（メタデータ） (2023-07-13T02:19:56Z)
• MPM: A Unified 2D-3D Human Pose Representation via Masked Pose Modeling [59.74064212110042]
  mpmcanは、3D人間のポーズ推定、クラッドされた2Dポーズからの3Dポーズ推定、3Dポーズ完了をtextocbsingleフレームワークで処理する。 MPI-INF-3DHPにおいて、広く使われているポーズデータセットの広範な実験とアブレーション研究を行い、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-29T10:30:00Z)
• ECON: Explicit Clothed humans Optimized via Normal integration [54.51948104460489]
  ゆるい衣服で3D人間を作る方法であるECONについて述べる。 布を被った人の正面と後方の詳細な2Dマップを推測する。 d-BiNI曲面の間の欠測幾何を「塗装」する。
  論文  参考訳（メタデータ） (2022-12-14T18:59:19Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• The Power of Points for Modeling Humans in Clothing [60.00557674969284]
  現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。 3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。 我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:45Z)
• AGORA: Avatars in Geography Optimized for Regression Analysis [35.22486186509372]
  AGORAは、高いリアリズムと高精度な地上真実を持つ合成データセットである。 SMPL-Xのボディモデル(顔と手)を3Dスキャンに合わせることで、参照3Dポーズと体形を作成する。 このデータセットを用いて既存の3次元ポーズ推定手法の評価を行い、ほとんどの手法が子供の画像に悪影響を及ぼすことを見出した。
  論文  参考訳（メタデータ） (2021-04-29T20:33:25Z)
• ARCH: Animatable Reconstruction of Clothed Humans [27.849315613277724]
  ARCH(Animatable Reconstruction of Clothed Humans)は、モノクロ画像からアニメーション可能な3D衣服を正確に再構築するためのエンドツーエンドのフレームワークである。 ARCHは、単一の制約のないRGB画像から、詳細な3Dリップされたフルボディアバターを生成する、学習されたポーズ認識モデルである。
  論文  参考訳（メタデータ） (2020-04-08T14:23:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。