論文の概要: Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images

• arxiv url: http://arxiv.org/abs/2003.08124v1
• Date: Wed, 18 Mar 2020 09:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 10:00:41.239534
• Title: Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images
• Title（参考訳）: ロータテ・アンド・レンダー:シングルビュー画像からの教師なしフォトリアリスティック顔回転
• Authors: Hang Zhou, Jihao Liu, Ziwei Liu, Yu Liu, Xiaogang Wang
• Abstract要約: そこで本研究では,フォトリアリスティックな回転面を合成可能な,教師なしのフレームワークを提案する。 私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンとして機能するということです。 我々の手法は、最先端の手法よりも優れた合成品質とアイデンティティの保存性を有する。
• 参考スコア（独自算出の注目度）: 47.18219551855583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though face rotation has achieved rapid progress in recent years, the lack of high-quality paired training data remains a great hurdle for existing methods. The current generative models heavily rely on datasets with multi-view images of the same person. Thus, their generated results are restricted by the scale and domain of the data source. To overcome these challenges, we propose a novel unsupervised framework that can synthesize photo-realistic rotated faces using only single-view image collections in the wild. Our key insight is that rotating faces in the 3D space back and forth, and re-rendering them to the 2D plane can serve as a strong self-supervision. We leverage the recent advances in 3D face modeling and high-resolution GAN to constitute our building blocks. Since the 3D rotation-and-render on faces can be applied to arbitrary angles without losing details, our approach is extremely suitable for in-the-wild scenarios (i.e. no paired data are available), where existing methods fall short. Extensive experiments demonstrate that our approach has superior synthesis quality as well as identity preservation over the state-of-the-art methods, across a wide range of poses and domains. Furthermore, we validate that our rotate-and-render framework naturally can act as an effective data augmentation engine for boosting modern face recognition systems even on strong baseline models.
• Abstract（参考訳）: 顔の回転は近年急速に進歩しているが、高品質なペアリングトレーニングデータの欠如は、既存の手法にとって大きなハードルとなっている。 現在の生成モデルは、同一人物のマルチビューイメージを持つデータセットに大きく依存している。 したがって、生成された結果は、データソースのスケールとドメインによって制限される。 これらの課題を克服するために、野生の単視点画像コレクションのみを用いて、写真リアルな回転面を合成できる新しい教師なしフレームワークを提案する。 私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンになるということです。 我々は3次元顔モデリングと高分解能GANの最近の進歩を活用して構築ブロックを構成する。 顔の3次元回転・回転は細部を損なうことなく任意の角度に適用できるため,既存の手法が不足している実地シナリオ(ペアデータがない場合など)に極めて適している。 広範な実験により,提案手法は合成品質が優れ,かつ最先端の手法に対するアイデンティティの保存が幅広いポーズやドメインにまたがることを示した。 さらに,我々のローテーション・アンド・レンダー・フレームワークが,強力なベースラインモデルであっても,現代の顔認識システムを強化する効果的なデータ拡張エンジンとして機能することを検証する。

関連論文リスト

• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)
• SMPLpix: Neural Avatars from 3D Human Models [56.85115800735619]
  従来のレンダリングと画素空間で動作する最新の生成ネットワークのギャップを埋める。 我々は、スパースな3Dメッシュ頂点をフォトリアリスティックな画像に変換するネットワークを訓練する。 我々は,フォトリアリズムのレベルとレンダリング効率の両面で,従来の微分可能よりも優位性を示す。
  論文  参考訳（メタデータ） (2020-08-16T10:22:00Z)
• AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild" [105.28776215113352]
  AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。 6K解像度の3D画像を1枚の低解像度画像から再現する。
  論文  参考訳（メタデータ） (2020-03-30T22:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。