論文の概要: PhotoApp: Photorealistic Appearance Editing of Head Portraits
- arxiv url: http://arxiv.org/abs/2103.07658v1
- Date: Sat, 13 Mar 2021 08:59:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 14:17:05.891264
- Title: PhotoApp: Photorealistic Appearance Editing of Head Portraits
- Title(参考訳): PhotoApp: ヘッドポートレートのフォトリアルな外観編集
- Authors: Mallikarjun B R, Ayush Tewari, Abdallah Dib, Tim Weyrich, Bernd
Bickel, Hans-Peter Seidel, Hanspeter Pfister, Wojciech Matusik, Louis
Chevallier, Mohamed Elgharib, Christian Theobalt
- Abstract要約: 本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。
ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。
StyleGANの潜在空間で学習する監督問題を設計します。
これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
- 参考スコア(独自算出の注目度): 97.23638022484153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photorealistic editing of portraits is a challenging task as humans are very
sensitive to inconsistencies in faces. We present an approach for high-quality
intuitive editing of the camera viewpoint and scene illumination in a portrait
image. This requires our method to capture and control the full reflectance
field of the person in the image. Most editing approaches rely on supervised
learning using training data captured with setups such as light and camera
stages. Such datasets are expensive to acquire, not readily available and do
not capture all the rich variations of in-the-wild portrait images. In
addition, most supervised approaches only focus on relighting, and do not allow
camera viewpoint editing. Thus, they only capture and control a subset of the
reflectance field. Recently, portrait editing has been demonstrated by
operating in the generative model space of StyleGAN. While such approaches do
not require direct supervision, there is a significant loss of quality when
compared to the supervised approaches. In this paper, we present a method which
learns from limited supervised training data. The training images only include
people in a fixed neutral expression with eyes closed, without much hair or
background variations. Each person is captured under 150 one-light-at-a-time
conditions and under 8 camera poses. Instead of training directly in the image
space, we design a supervised problem which learns transformations in the
latent space of StyleGAN. This combines the best of supervised learning and
generative adversarial modeling. We show that the StyleGAN prior allows for
generalisation to different expressions, hairstyles and backgrounds. This
produces high-quality photorealistic results for in-the-wild images and
significantly outperforms existing methods. Our approach can edit the
illumination and pose simultaneously, and runs at interactive rates.
- Abstract(参考訳): ポートレートのフォトリアリズム編集は、人間が顔の不一致に非常に敏感であるため、難しい作業です。
本稿では,ポートレート画像におけるカメラ視点とシーン照明の高品質な直感的編集手法を提案する。
これにより,画像中の人物のフルリフレクタンスフィールドをキャプチャし,制御する手法が求められている。
ほとんどの編集アプローチは、光やカメラステージといった設定でキャプチャされたトレーニングデータを使用した教師あり学習に依存している。
このようなデータセットは、取得するのに高価であり、容易に入手できず、ワイルドポートレート画像のすべての豊富なバリエーションをキャプチャしません。
加えて、ほとんどの監督されたアプローチはライトアップのみに焦点を当てており、カメラ視点の編集を許可していない。
したがって、反射フィールドのサブセットのみをキャプチャして制御します。
近年,StyleGAN の生成モデル空間で動作することで,肖像画編集が実証されている。
このようなアプローチは直接の監視を必要としないが、監督されたアプローチと比較すると品質が大幅に低下する。
本稿では,限られた教師付きトレーニングデータから学習する手法を提案する。
トレーニング画像には、髪や背景のバリエーションがほとんどなく、目を閉じた固定された中性表現の人々しか含まれていない。
一人ひとりが1回150回、カメラが8回撮影されます。
画像空間で直接トレーニングする代わりに、StyleGANの潜在的な空間で変換を学ぶ監督された問題を設計します。
これは、教師付き学習と生成的敵対的モデリングのベストを組み合わせる。
StyleGANの前には,表現,髪型,背景の一般化が可能であることを示す。
これにより、インザワイルド画像のための高品質のフォトリアリズム結果が生成され、既存の方法を大幅に上回ります。
本手法は照明とポーズを同時に編集し,インタラクティブな速度で動作させる。
関連論文リスト
- NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior [22.579857008706206]
事前に計算されたカメラポーズを使わずにニューラルレージアンスフィールド(NeRF)を訓練することは困難である。
この方向の最近の進歩は、前向きのシーンでNeRFとカメラのポーズを共同で最適化する可能性を示している。
我々は、歪まない単分子深度を組み込むことで、この問題に対処する。
これらの先行は、トレーニング中にスケールとシフトパラメータを補正することで生成され、連続するフレーム間の相対的なポーズを制約することができる。
論文 参考訳(メタデータ) (2022-12-14T18:16:41Z) - SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary
Image collections [49.3480550339732]
完全に未知のキャプチャ条件下でのオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける根本的な課題である。
形状, BRDF, 画像当たりのカメラのポーズと照明を推定するための共同最適化フレームワークを提案する。
本手法は,オブジェクトのオンライン画像収集に利用し,AR/VRなどのいくつかのユースケースに対して,再生可能な3Dアセットを生成する。
論文 参考訳(メタデータ) (2022-05-31T13:16:48Z) - SunStage: Portrait Reconstruction and Relighting using the Sun as a
Light Stage [75.0473791925894]
光のステージは、様々な照明と視点の下で被写体の顔の外観を捉えるために、調整されたカメラとライトを使用する。
残念なことに、ライトステージは高価であり、建設と運用に重要な技術的専門知識を必要とするため、アクセスできないことが多い。
SunStageは、スマートフォンのカメラと太陽だけを使って、同等のデータをキャプチャするライトステージの軽量な代替品だ。
論文 参考訳(メタデータ) (2022-04-07T17:59:51Z) - Neural Radiance Fields for Outdoor Scene Relighting [70.97747511934705]
ニューラルラジアンス場に基づく屋外シーンライティングのための最初のアプローチであるNeRF-OSRを提案する。
従来の技術とは対照的に,本手法はシーン照明とカメラ視点の同時編集を可能にする。
シャドウ再現のための専用ネットワークも備えており、高品質の屋外照明に欠かせない。
論文 参考訳(メタデータ) (2021-12-09T18:59:56Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳(メタデータ) (2021-07-07T09:46:19Z) - PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。
トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。
アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
論文 参考訳(メタデータ) (2020-09-20T17:53:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。