論文の概要: SMPLpix: Neural Avatars from 3D Human Models

• arxiv url: http://arxiv.org/abs/2008.06872v2
• Date: Mon, 9 Nov 2020 11:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 11:41:10.214691
• Title: SMPLpix: Neural Avatars from 3D Human Models
• Title（参考訳）: SMPLpix:3次元人間モデルからのニューラルアバター
• Authors: Sergey Prokudin, Michael J. Black, Javier Romero
• Abstract要約: 従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
• 参考スコア（独自算出の注目度）: 56.85115800735619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep generative models have led to an unprecedented level of realism for synthetically generated images of humans. However, one of the remaining fundamental limitations of these models is the ability to flexibly control the generative process, e.g.~change the camera and human pose while retaining the subject identity. At the same time, deformable human body models like SMPL and its successors provide full control over pose and shape but rely on classic computer graphics pipelines for rendering. Such rendering pipelines require explicit mesh rasterization that (a) does not have the potential to fix artifacts or lack of realism in the original 3D geometry and (b) until recently, were not fully incorporated into deep learning frameworks. In this work, we propose to bridge the gap between classic geometry-based rendering and the latest generative networks operating in pixel space. We train a network that directly converts a sparse set of 3D mesh vertices into photorealistic images, alleviating the need for traditional rasterization mechanism. We train our model on a large corpus of human 3D models and corresponding real photos, and show the advantage over conventional differentiable renderers both in terms of the level of photorealism and rendering efficiency.
• Abstract（参考訳）: 深部生成モデルの最近の進歩は、ヒトの合成生成画像に対する前例のないレベルの現実主義をもたらした。 しかし、これらのモデルの基本的限界の1つは、被写体アイデンティティを維持しながらカメラと人間のポーズを変更するなど、生成過程を柔軟に制御できる能力である。 同時に、SMPLのような変形可能な人体モデルとその後継モデルは、ポーズと形状を完全に制御するが、レンダリングには古典的なコンピュータグラフィックスパイプラインに依存する。 このようなレンダリングパイプラインは明示的なメッシュラスタ化を必要とします。 (a)元の3d幾何学におけるアーティファクトやリアリズムの欠如を修正する可能性をもたない。 (b)最近まで、ディープラーニングフレームワークに完全には組み込まれていなかった。 本研究では,従来の幾何学的レンダリングと画素空間で動作する最新の生成ネットワークとのギャップを埋めることを提案する。 3dメッシュ頂点のスパースセットをフォトリアリスティックなイメージに変換するネットワークをトレーニングし、従来のラスタライズメカニズムの必要性を緩和します。 我々は、人間の3Dモデルとそれに対応する実写画像の大きなコーパスでモデルをトレーニングし、フォトリアリズムのレベルとレンダリング効率の両面で従来の微分可能なレンダラーよりも有利であることを示す。

関連論文リスト

• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• Breathing New Life into 3D Assets with Generative Repainting [74.80184575267106]
  拡散ベースのテキスト・ツー・イメージ・モデルは、ビジョン・コミュニティ、アーティスト、コンテンツ・クリエーターから大きな注目を集めた。 近年の研究では、拡散モデルとニューラルネットワークの絡み合いを利用した様々なパイプラインが提案されている。 予備訓練された2次元拡散モデルと標準3次元ニューラルラジアンスフィールドのパワーを独立したスタンドアロンツールとして検討する。 我々のパイプラインはテクスチャ化されたメッシュや無テクスチャのメッシュのような、レガシなレンダリング可能な幾何学を受け入れ、2D生成の洗練と3D整合性強化ツール間の相互作用をオーケストレーションします。
  論文  参考訳（メタデータ） (2023-09-15T16:34:51Z)
• VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable Human Image Synthesis [27.81573705217842]
  本研究では,パラメトリックな人体テンプレートSMPLの頂点によってパラメータ化される人体放射野であるVeRi3Dを提案する。 我々の単純なアプローチは、カメラポーズ、人間のポーズ、形状を自由に制御できるフォトリアリスティックな人間の画像を生成するだけでなく、部分レベルの編集を可能にすることを実証している。
  論文  参考訳（メタデータ） (2023-09-09T13:53:29Z)
• GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images [72.15855070133425]
  本稿では,複雑なトポロジ,リッチな幾何学的ディテール,高忠実度テクスチャを備えたExplicit Textured 3Dメッシュを直接生成する生成モデルであるGET3Dを紹介する。 GET3Dは、車、椅子、動物、バイク、人間キャラクターから建物まで、高品質な3Dテクスチャメッシュを生成することができる。
  論文  参考訳（メタデータ） (2022-09-22T17:16:19Z)
• Texture Generation Using Graph Generative Adversarial Network And Differentiable Rendering [0.6439285904756329]
  既存の3次元メッシュモデルのための新しいテクスチャ合成は、シミュレータのフォトリアルアセット生成に向けた重要なステップである。 既存の手法は、カメラの観点からの3次元空間の投影である2次元画像空間で本質的に機能する。 本稿では,BlenderやUnreal Engineといったツールを用いて,与えられた3Dメッシュモデルに直接統合可能なテクスチャを生成可能なGGAN(Graph Generative Adversarial Network)という新しいシステムを提案する。
  論文  参考訳（メタデータ） (2022-06-17T04:56:03Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。