論文の概要: 3D GAN Inversion for Controllable Portrait Image Animation
- arxiv url: http://arxiv.org/abs/2203.13441v1
- Date: Fri, 25 Mar 2022 04:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-28 13:07:07.695943
- Title: 3D GAN Inversion for Controllable Portrait Image Animation
- Title（参考訳）: 可変画像アニメーションのための3次元GANインバージョン
- Authors: Connor Z. Lin, David B. Lindell, Eric R. Chan, and Gordon Wetzstein
- Abstract要約: 我々は新たに開発された3D GANを活用し、マルチビュー一貫性のある画像対象のポーズを明示的に制御できる。
ポートレート・イメージ・アニメーションの手法は、画像の品質、アイデンティティの保存、ポーズ・トランスファーの点で、従来の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 45.55581298551192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Millions of images of human faces are captured every single day; but these
photographs portray the likeness of an individual with a fixed pose,
expression, and appearance. Portrait image animation enables the post-capture
adjustment of these attributes from a single image while maintaining a
photorealistic reconstruction of the subject's likeness or identity. Still,
current methods for portrait image animation are typically based on 2D warping
operations or manipulations of a 2D generative adversarial network (GAN) and
lack explicit mechanisms to enforce multi-view consistency. Thus these methods
may significantly alter the identity of the subject, especially when the
viewpoint relative to the camera is changed. In this work, we leverage newly
developed 3D GANs, which allow explicit control over the pose of the image
subject with multi-view consistency. We propose a supervision strategy to
flexibly manipulate expressions with 3D morphable models, and we show that the
proposed method also supports editing appearance attributes, such as age or
hairstyle, by interpolating within the latent space of the GAN. The proposed
technique for portrait image animation outperforms previous methods in terms of
image quality, identity preservation, and pose transfer while also supporting
attribute editing.
- Abstract（参考訳）: 毎日何百万もの人間の顔の画像が撮影されるが、これらの写真は、一定のポーズ、表情、外観を持つ個人の類似性を表している。
ポートレート画像アニメーションは、被写体の類似性やアイデンティティのフォトリアリスティックな再構築を維持しながら、単一の画像からこれらの属性のポストキャプチャー調整を可能にする。
ポートレート・イメージ・アニメーションの現在の手法は、通常2次元のワープ操作や2次元生成対向ネットワーク(GAN)の操作に基づいており、マルチビューの一貫性を強制する明確なメカニズムが欠如している。
これらの方法は、特にカメラに対する視点が変更された場合、被写体のアイデンティティを著しく変える可能性がある。
本研究では,画像のポーズを多視点整合性で明示的に制御できる3D GANを新たに開発した。
本研究では,3次元モーファブルモデルを用いて表現を柔軟に操作するための監督戦略を提案し,ganの潜在空間内で補間することにより,年齢や髪型などの外観属性の編集もサポートすることを示す。
ポートレート画像アニメーションの手法は,属性編集をサポートしながら,画像品質,アイデンティティ保存,ポーズ転送の点で,従来の手法よりも優れていた。
関連論文リスト
- DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis [18.64688172651478]
本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。
一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。
我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
論文 参考訳（メタデータ） (2023-12-20T13:31:11Z) - AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image
Collections [78.81539337399391]
顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。
これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。
生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
論文 参考訳（メタデータ） (2023-09-05T12:44:57Z) - Ray Conditioning: Trading Photo-consistency for Photo-realism in
Multi-view Image Generation [10.300893339754827]
我々は、光一貫性制約を緩和する幾何のない代替案であるレイコンディショニングを提案する。
本手法は,光フィールドに2D GANを条件付けることで,マルチビュー画像を生成する。
視点制御,最先端のフォトリアリズム,アイデンティティの整合性などにより,この手法は視点編集作業に特に適している。
論文 参考訳（メタデータ） (2023-04-26T16:54:10Z) - Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。
提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
論文 参考訳（メタデータ） (2022-09-12T17:40:08Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳（メタデータ） (2021-11-01T15:53:36Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:29:29Z) - Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space
Navigation [136.53288628437355]
コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。
現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。
本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
論文 参考訳（メタデータ） (2021-02-01T21:38:36Z) - PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。
トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。
アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
論文 参考訳（メタデータ） (2020-09-20T17:53:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。