論文の概要: StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces

• arxiv url: http://arxiv.org/abs/2303.06146v2
• Date: Fri, 21 Jul 2023 06:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 16:07:57.841415
• Title: StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces
• Title（参考訳）: StyleGANEX:StyleGANベースの顔操作
• Authors: Shuai Yang, Liming Jiang, Ziwei Liu, Chen Change Loy
• Abstract要約: 拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。 これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。 本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
• 参考スコア（独自算出の注目度）: 103.54337984566877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in face manipulation using StyleGAN have produced impressive results. However, StyleGAN is inherently limited to cropped aligned faces at a fixed image resolution it is pre-trained on. In this paper, we propose a simple and effective solution to this limitation by using dilated convolutions to rescale the receptive fields of shallow layers in StyleGAN, without altering any model parameters. This allows fixed-size small features at shallow layers to be extended into larger ones that can accommodate variable resolutions, making them more robust in characterizing unaligned faces. To enable real face inversion and manipulation, we introduce a corresponding encoder that provides the first-layer feature of the extended StyleGAN in addition to the latent style code. We validate the effectiveness of our method using unaligned face inputs of various resolutions in a diverse set of face manipulation tasks, including facial attribute editing, super-resolution, sketch/mask-to-face translation, and face toonification.
• Abstract（参考訳）: StyleGANを用いた顔操作の最近の進歩は印象的な結果をもたらした。 しかし、StyleGANは本質的には、事前にトレーニングされている固定画像解像度で整列された顔に限られている。 本稿では,StyleGANの浅い層の受容場をモデルパラメータを変更することなく拡張畳み込みを用いて再スケールすることで,この制限に対する簡便かつ効果的な解を提案する。 これにより、浅い層に固定サイズの小さな特徴を拡張して、可変解像度を許容できる大きな特徴にすることができる。 実際の顔の反転と操作を可能にするために,拡張されたStyleGANの第一層機能と潜在スタイルコードを提供する対応するエンコーダを導入する。 本手法は,顔属性編集,超解像,スケッチ・マスク・ツー・フェイス翻訳,顔トーン化など,多様な顔操作タスクにおいて,様々な解像度の非整合入力を用いて有効性を検証する。

関連論文リスト

• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
  本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。 顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
  論文  参考訳（メタデータ） (2023-03-07T19:16:20Z)
• Fine-Grained Face Swapping via Regional GAN Inversion [18.537407253864508]
  所望の微妙な幾何やテクスチャの詳細を忠実に保存する,高忠実な顔交換のための新しいパラダイムを提案する。 顔成分の形状とテクスチャの明示的な乱れに基づく枠組みを提案する。 我々のシステムの中核には、形状とテクスチャの明示的な切り離しを可能にする、新しいRegional GAN Inversion (RGI) 手法がある。
  論文  参考訳（メタデータ） (2022-11-25T12:40:45Z)
• Expanding the Latent Space of StyleGAN for Real Face Editing [4.1715767752637145]
  セマンティックな操作に事前訓練されたStyleGANを使用するために、顔編集技術の急増が提案されている。 実際の画像を編集するには、最初に入力された画像をStyleGANの潜伏変数に変換する必要がある。 本稿では,低歪みと高編集性の間のトレードオフを断ち切るために,コンテンツ機能の追加により,StyleGANの潜伏空間を拡張する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T18:27:53Z)
• MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
  本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。 提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。 ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
  論文  参考訳（メタデータ） (2021-11-01T15:53:36Z)
• Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
  ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。 入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。 3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:29:29Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
  本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。 トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。 アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
  論文  参考訳（メタデータ） (2020-09-20T17:53:51Z)
• Reference-guided Face Component Editing [51.29105560090321]
  本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。 具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。 フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
  論文  参考訳（メタデータ） (2020-06-03T05:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。