論文の概要: PS-StyleGAN: Illustrative Portrait Sketching using Attention-Based Style Adaptation

• arxiv url: http://arxiv.org/abs/2409.00345v1
• Date: Sat, 31 Aug 2024 04:22:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 15:23:54.183198
• Title: PS-StyleGAN: Illustrative Portrait Sketching using Attention-Based Style Adaptation
• Title（参考訳）: PS-StyleGAN:アテンションに基づくスタイル適応を用いたイラストレートスケッチ
• Authors: Kushal Kumar Jain, Ankith Varun J, Anoop Namboodiri,
• Abstract要約: ポートレートスケッチでは、抽象的な線と影で実際の顔のアイデンティティ固有の属性をキャプチャする。 本稿では,肖像画合成に適したスタイル転送手法である textbfPortrait Sketching StyleGAN (PS-StyleGAN) を提案する。 StyleGANのセマンティックな$W+$潜在空間を利用してポートレートスケッチを生成します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Portrait sketching involves capturing identity specific attributes of a real face with abstract lines and shades. Unlike photo-realistic images, a good portrait sketch generation method needs selective attention to detail, making the problem challenging. This paper introduces \textbf{Portrait Sketching StyleGAN (PS-StyleGAN)}, a style transfer approach tailored for portrait sketch synthesis. We leverage the semantic $W+$ latent space of StyleGAN to generate portrait sketches, allowing us to make meaningful edits, like pose and expression alterations, without compromising identity. To achieve this, we propose the use of Attentive Affine transform blocks in our architecture, and a training strategy that allows us to change StyleGAN's output without finetuning it. These blocks learn to modify style latent code by paying attention to both content and style latent features, allowing us to adapt the outputs of StyleGAN in an inversion-consistent manner. Our approach uses only a few paired examples ($\sim 100$) to model a style and has a short training time. We demonstrate PS-StyleGAN's superiority over the current state-of-the-art methods on various datasets, qualitatively and quantitatively.
• Abstract（参考訳）: ポートレートスケッチでは、抽象的な線と影で実際の顔のアイデンティティ固有の属性をキャプチャする。 フォトリアリスティック画像とは異なり、優れた肖像画生成方法は細部への選択的注意を必要とするため、この問題は困難である。 本稿では, ポートレートスケッチスタイルGAN (PS-StyleGAN) について述べる。 StyleGANのセマンティックな$W+$潜在空間を利用してポートレートスケッチを生成します。 これを実現するために,アーキテクチャにおけるAttentive Affine変換ブロックの利用と,StyleGANの出力を微調整することなく変更できるトレーニング戦略を提案する。 これらのブロックは、コンテンツとスタイルの遅延機能の両方に注意を払い、スタイルGANの出力を逆一貫性のある方法で適応させることで、スタイルの潜伏コードを修正することを学ぶ。 このアプローチでは、スタイルをモデル化するために、わずかにペアの例($\sim 100$)を使用しており、トレーニング時間が短い。 我々は,PS-StyleGANが様々なデータセット上で現在最先端の手法よりも質的かつ定量的に優れていることを示す。

関連論文リスト

• Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting [64.43760427752532]
  顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。 現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。 本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-03T06:48:35Z)
• Face Cartoonisation For Various Poses Using StyleGAN [0.7673339435080445]
  本論文は,顔のマンガ化を実現するための革新的アプローチとして,顔の同一性を保ち,様々なポーズを付加する手法を提案する。 本研究では、画像からポーズ情報とアイデンティティ情報をキャプチャし、StyleGAN潜在空間内に対応する埋め込みを生成するエンコーダを導入する。 目的が漫画化である場合, エンコーダがStyleGAN出力にどのように適応し, アイデンティティをよりよく保存するかを, 広範囲にわたる実験により示す。
  論文  参考訳（メタデータ） (2023-09-26T13:10:25Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• Generative Artisan: A Semantic-Aware and Controllable CLIPstyler [0.0]
  本稿では,事前学習したCLIPテキストイメージ埋め込みモデルを用いて,FCNセマンティックセグメンテーションネットワークを通じて画像スタイルの転送をガイドする新しいフレームワークを提案する。 具体的には、自撮り写真と現実世界の風景の両方のポートレート・オーバー・スティリング問題を、人間の被写体写真で解決する。
  論文  参考訳（メタデータ） (2022-07-23T20:26:47Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer [103.54337984566877]
  StyleGANの最近の研究は、限られたデータを用いたトランスファーラーニングによる芸術的肖像画生成に高い性能を示している。 本稿では,オリジナルフェイスドメインと拡張アートポートレートドメインの両スタイルを柔軟に制御できる新しいDualStyleGANを提案する。 高品質なポートレートスタイル転送とフレキシブルなスタイル制御において、DualStyleGANが最先端の手法よりも優れていることを示す実験である。
  論文  参考訳（メタデータ） (2022-03-24T17:57:11Z)
• DrawingInStyles: Portrait Image Generation and Editing with Spatially Conditioned StyleGAN [30.465955123686335]
  SC-StyleGANは,従来のStyleGAN生成プロセスに空間制約を注入する。 SC-StyleGANに基づいてDrawingInStylesを提案する。DrawingInStylesはプロでないユーザのための新しい描画インタフェースで、高品質でリアルな顔画像を容易に作成できる。
  論文  参考訳（メタデータ） (2022-03-05T14:54:07Z)
• StyleCariGAN: Caricature Generation via StyleGAN Feature Map Modulation [20.14727435894964]
  StyleGAN を用いた形状とスタイルの操作に基づく似顔絵生成フレームワークを提案する。 StyleCariGANと呼ばれる私たちのフレームワークは、入力された写真からリアルで詳細な似顔絵を自動生成します。
  論文  参考訳（メタデータ） (2021-07-09T09:49:31Z)
• StyleMeUp: Towards Style-Agnostic Sketch-Based Image Retrieval [119.03470556503942]
  クロスモーダルマッチング問題は通常、写真とスケッチのモダリティ間で共有されるセマンティックコンテンツを保存する共同埋め込み空間を学習することによって解決される。 効果的なモデルには、このスタイルの多様性を明確に説明する必要がある。 我々のモデルは、モデム間で共有されるセマンティックコンテンツだけでなく、目に見えないユーザースタイルにも適応できるので、モデルは真に不可知的です。
  論文  参考訳（メタデータ） (2021-03-29T15:44:19Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。