論文の概要: HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images

• arxiv url: http://arxiv.org/abs/2311.15672v2
• Date: Sun, 31 Mar 2024 09:10:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 15:05:24.182290
• Title: HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images
• Title（参考訳）: HAVE-FUN:Few-Shot Unconstrained Imagesによる人間のアバター再構成
• Authors: Xihe Yang, Xingyu Chen, Daiheng Gao, Shaohui Wang, Xiaoguang Han, Baoyuan Wang,
• Abstract要約: 数枚の写真アルバムからのヒトアバターの復元について検討した。 動的データを扱うために,深行テトラヘドラとスキン機構を統合する。 私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
• 参考スコア（独自算出の注目度）: 33.298962236215964
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As for human avatar reconstruction, contemporary techniques commonly necessitate the acquisition of costly data and struggle to achieve satisfactory results from a small number of casual images. In this paper, we investigate this task from a few-shot unconstrained photo album. The reconstruction of human avatars from such data sources is challenging because of limited data amount and dynamic articulated poses. For handling dynamic data, we integrate a skinning mechanism with deep marching tetrahedra (DMTet) to form a drivable tetrahedral representation, which drives arbitrary mesh topologies generated by the DMTet for the adaptation of unconstrained images. To effectively mine instructive information from few-shot data, we devise a two-phase optimization method with few-shot reference and few-shot guidance. The former focuses on aligning avatar identity with reference images, while the latter aims to generate plausible appearances for unseen regions. Overall, our framework, called HaveFun, can undertake avatar reconstruction, rendering, and animation. Extensive experiments on our developed benchmarks demonstrate that HaveFun exhibits substantially superior performance in reconstructing the human body and hand. Project website: https://seanchenxy.github.io/HaveFunWeb/.
• Abstract（参考訳）: ヒトのアバター再構成では、現代の技術は一般的に費用のかかるデータの取得を必要とし、少数のカジュアルな画像から満足な結果を得るのに苦労する。 本稿では,この課題を,数枚の未制約写真アルバムから考察する。 このようなデータから人間のアバターを復元することは、限られたデータ量と動的調音されたポーズのために困難である。 動的データを扱うために,DMTetが生成した任意のメッシュトポロジを非拘束画像の適応のために駆動する,乾燥可能な四面体表現を生成するためのスキンニング機構をDMTetと統合する。 少数ショットデータからインストラクティブ情報を効果的にマイニングするために,少数ショット参照と少数ショットガイダンスを備えた2フェーズ最適化手法を考案した。 前者はアバターアイデンティティと参照画像の整合性に着目し,後者は目に見えない領域に対して可視な外観を生成することを目的としている。 全体として、私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。 開発したベンチマークの大規模な実験により、HaveFunは人体と手を再構築する上で、かなり優れたパフォーマンスを示しています。 プロジェクトWebサイト: https://seanchenxy.github.io/HaveFunWeb/.com

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• MagicMirror: Fast and High-Quality Avatar Generation with a Constrained Search Space [25.24509617548819]
  テキストプロンプトを利用した3次元アバター生成とパーソナライズのための新しいフレームワークを提案する。 主要なイノベーションは、フォトリアリスティックなアバター合成の課題を克服することを目的としている。
  論文  参考訳（メタデータ） (2024-04-01T17:59:11Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading [3.2586340344073927]
  MoSARはモノクロ画像から3次元アバターを生成する方法である。 そこで本研究では,光ステージと地中データセットの両方から学習することで,一般化を向上する半教師付きトレーニング手法を提案する。 FFHQ-UV-Intrinsicsと名付けられた新しいデータセットも導入しました。
  論文  参考訳（メタデータ） (2023-12-20T15:12:53Z)
• NOFA: NeRF-based One-shot Facial Avatar Reconstruction [45.11455702291703]
  3次元顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題となっている。 本研究では,高忠実度3次元顔アバターを再構成するために,単一の音源画像のみを必要とするワンショット3次元顔アバター再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-07T07:58:18Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• AvatarCap: Animatable Avatar Conditioned Monocular Human Volumetric Capture [36.10436374741757]
  AvatarCapは、目に見える領域と見えない領域の両方で高忠実な再構築のために、キャプチャパイプラインにアニマタブルなアバターを導入する、新しいフレームワークである。 本手法は, 画像観察とアバターの両方からの情報を統合し, 高忠実度3次元テクスチャモデルを視認性に関係なく動的に再構成する。
  論文  参考訳（メタデータ） (2022-07-05T13:21:01Z)
• MVP-Human Dataset for 3D Human Avatar Reconstruction from Unconstrained Frames [59.37430649840777]
  野生(Arwild)における3次元アバター再構成を行い,まず暗黙のスキンフィールドを多段階的に再構成する。 大規模なデータセットであるMVP-Humanには400人の被験者が参加し、それぞれ異なるポーズで15のスキャンを行います。 全体として、特定のネットワークアーキテクチャと多様なデータにより、トレーニングされたモデルは、制約のないフレームから3Dアバターを再構築することができる。
  論文  参考訳（メタデータ） (2022-04-24T03:57:59Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。