論文の概要: Refining 3D Human Texture Estimation from a Single Image
- arxiv url: http://arxiv.org/abs/2303.03471v1
- Date: Mon, 6 Mar 2023 19:53:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 17:20:22.155008
- Title: Refining 3D Human Texture Estimation from a Single Image
- Title(参考訳): 単一画像を用いた3次元人体テクスチャ推定
- Authors: Said Fahri Altindis, Adil Meric, Yusuf Dalva, Ugur Gudukbay, Aysegul
Dundar
- Abstract要約: 1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックと視覚に不可欠である。
本稿では,オフセットが深層ニューラルネットワークを介して学習される変形可能な畳み込みによって,入力を適応的にサンプリングするフレームワークを提案する。
- 参考スコア(独自算出の注目度): 3.8761064607384195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating 3D human texture from a single image is essential in graphics and
vision. It requires learning a mapping function from input images of humans
with diverse poses into the parametric (UV) space and reasonably hallucinating
invisible parts. To achieve a high-quality 3D human texture estimation, we
propose a framework that adaptively samples the input by a deformable
convolution where offsets are learned via a deep neural network. Additionally,
we describe a novel cycle consistency loss that improves view generalization.
We further propose to train our framework with an uncertainty-based pixel-level
image reconstruction loss, which enhances color fidelity. We compare our method
against the state-of-the-art approaches and show significant qualitative and
quantitative improvements.
- Abstract(参考訳): 1枚の画像から3次元の人間のテクスチャを推定することは、グラフィックスと視覚に欠かせない。
多様なポーズを持つ人間の入力画像からパラメトリック(uv)空間にマッピング機能を学習し、目に見えない部分を合理的に幻覚させる必要がある。
高品質な3次元ヒューマンテクスチャ推定を実現するために,オフセットをディープニューラルネットワークで学習する変形可能な畳み込みにより,入力を適応的にサンプリングするフレームワークを提案する。
さらに,ビューの一般化を改善する新しいサイクル一貫性の損失について述べる。
さらに,不確実性に基づく画素レベルの画像再構成損失を考慮し,カラー忠実度を高めることを提案する。
本手法を最先端手法と比較し,質的,定量的に改善した。
関連論文リスト
- ConTex-Human: Free-View Rendering of Human from a Single Image with
Texture-Consistent Synthesis [49.28239918969784]
テクスチャに一貫性のあるバックビュー合成モジュールを導入し、参照画像コンテンツをバックビューに転送する。
また、テクスチャマッピングとリファインメントのための可視性対応パッチ整合性正規化と、合成したバックビューテクスチャの組み合わせを提案する。
論文 参考訳(メタデータ) (2023-11-28T13:55:53Z) - Deceptive-Human: Prompt-to-NeRF 3D Human Generation with 3D-Consistent
Synthetic Images [67.31920821192323]
Deceptive-Humanは、最先端の制御拡散モデル(ControlNetなど)を利用して高品質な制御可能な3D NeRFを生成する新しいフレームワークである。
提案手法は,テキストプロンプトや3Dメッシュ,ポーズ,シード画像などの付加データを含む,汎用的で容易に収容できる。
結果として得られる3D人間のNeRFモデルは、360度の視点から高光写実性ビューの合成を促進する。
論文 参考訳(メタデータ) (2023-11-27T15:49:41Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - NeuralReshaper: Single-image Human-body Retouching with Deep Neural
Networks [50.40798258968408]
本稿では,深部生成ネットワークを用いた単一画像における人体の意味的再構成手法であるNeuralReshaperを提案する。
われわれのアプローチは、まずパラメトリックな3次元人間モデルと元の人間の画像とを適合させるフィッティング・セイン・リフォーム・パイプラインに従う。
ペアデータが存在しないデータ不足に対処するために,ネットワークをトレーニングするための新たな自己教師型戦略を導入する。
論文 参考訳(メタデータ) (2022-03-20T09:02:13Z) - 3D Human Texture Estimation from a Single Image with Transformers [106.6320286821364]
単一画像からの3次元人間のテクスチャ推定のためのトランスフォーマーベースのフレームワークを提案する。
また,RGBモデルとテクスチャフローモデルを組み合わせたマスク融合方式を提案する。
論文 参考訳(メタデータ) (2021-09-06T16:00:20Z) - Using Adaptive Gradient for Texture Learning in Single-View 3D
Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。
本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。
また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文 参考訳(メタデータ) (2021-04-29T07:52:54Z) - Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。
私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
論文 参考訳(メタデータ) (2021-01-11T18:53:47Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳(メタデータ) (2020-08-16T13:38:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。