論文の概要: DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars

• arxiv url: http://arxiv.org/abs/2303.09375v1
• Date: Thu, 16 Mar 2023 15:04:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 15:03:19.913742
• Title: DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human Avatars
• Title（参考訳）: dinar: 一発ヒトアバターの神経テクスチャの拡散インパインティング
• Authors: David Svitov, Dmitrii Gudkov, Renat Bashirov, Victor Lemptisky
• Abstract要約: 本稿では,1枚のRGB画像からリアルなフルボディアバターを作成するためのアプローチを提案する。 本手法は, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現する。 実験では、最新のレンダリング品質と、新しいポーズや視点への優れた一般化を実現する。
• 参考スコア（独自算出の注目度）: 0.9626666671366836
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present DINAR, an approach for creating realistic rigged fullbody avatars from single RGB images. Similarly to previous works, our method uses neural textures combined with the SMPL-X body model to achieve photo-realistic quality of avatars while keeping them easy to animate and fast to infer. To restore the texture, we use a latent diffusion model and show how such model can be trained in the neural texture space. The use of the diffusion model allows us to realistically reconstruct large unseen regions such as the back of a person given the frontal view. The models in our pipeline are trained using 2D images and videos only. In the experiments, our approach achieves state-of-the-art rendering quality and good generalization to new poses and viewpoints. In particular, the approach improves state-of-the-art on the SnapshotPeople public benchmark.
• Abstract（参考訳）: DINARは、1枚のRGB画像から現実的なフルボディアバターを作成するためのアプローチである。 従来の研究と同様に, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現し, アニメーションや高速な推論を実現している。 テクスチャを復元するために、潜伏拡散モデルを使用し、そのようなモデルを神経テクスチャ空間でどのようにトレーニングするかを示す。 拡散モデルを用いることで、正面から見ると人物の背中のような大きな目立たない領域を現実的に再構築することができる。 パイプライン内のモデルは、2D画像とビデオのみを使用してトレーニングされています。 実験では,最先端のレンダリング品質と,新たなポーズや視点への優れた一般化を実現する。 特に、このアプローチはSnapshotPeople公開ベンチマークの最先端を改善している。

関連論文リスト

• Learning 3D Photography Videos via Self-supervised Diffusion on Single Images [105.81348348510551]
  3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。 既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。 我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
  論文  参考訳（メタデータ） (2023-02-21T16:18:40Z)
• RANA: Relightable Articulated Neural Avatars [83.60081895984634]
  本稿では,ヒトの光合成のための光合成アバターであるRANAを提案する。 モノクラーRGBビデオの幾何学、テクスチャ、照明環境を両立させながら、人間をモデル化する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-06T18:59:31Z)
• One-shot Implicit Animatable Avatars with Model-based Priors [28.532125654784558]
  ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。 ELICITは、1つの画像しか利用できない場合、最先端のアバター作成方法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-05T18:24:06Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。