論文の概要: MagicStyle: Portrait Stylization Based on Reference Image

• arxiv url: http://arxiv.org/abs/2409.08156v1
• Date: Thu, 12 Sep 2024 15:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 15:55:10.031981
• Title: MagicStyle: Portrait Stylization Based on Reference Image
• Title（参考訳）: MagicStyle: 参照画像に基づくポートレートスティル化
• Authors: Zhaoli Deng, Kaibin Zhou, Fanyi Wang, Zhenpeng Mi,
• Abstract要約: そこで我々は,MagicStyleと呼ばれるポートレートに特化して,拡散モデルに基づく参照画像スタイリング手法を提案する。 Cフェーズは、DDIMインバージョンをコンテンツイメージとスタイルイメージとで別々に実行し、インバージョンプロセス中に両方の画像の自己アテンションクエリ、キーと値の特徴を格納するリバースデノナイズ処理を含む。 FFFフェーズは、事前記憶された特徴クエリ、キー、値からのテクスチャと色情報を、よく設計された特徴融合注意(FFA)に基づいて拡散生成プロセスに統合する。
• 参考スコア（独自算出の注目度）: 0.562479170374811
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The development of diffusion models has significantly advanced the research on image stylization, particularly in the area of stylizing a content image based on a given style image, which has attracted many scholars. The main challenge in this reference image stylization task lies in how to maintain the details of the content image while incorporating the color and texture features of the style image. This challenge becomes even more pronounced when the content image is a portrait which has complex textural details. To address this challenge, we propose a diffusion model-based reference image stylization method specifically for portraits, called MagicStyle. MagicStyle consists of two phases: Content and Style DDIM Inversion (CSDI) and Feature Fusion Forward (FFF). The CSDI phase involves a reverse denoising process, where DDIM Inversion is performed separately on the content image and the style image, storing the self-attention query, key and value features of both images during the inversion process. The FFF phase executes forward denoising, harmoniously integrating the texture and color information from the pre-stored feature queries, keys and values into the diffusion generation process based on our Well-designed Feature Fusion Attention (FFA). We conducted comprehensive comparative and ablation experiments to validate the effectiveness of our proposed MagicStyle and FFA.
• Abstract（参考訳）: 拡散モデルの開発は画像のスタイリゼーションの研究を著しく前進させており、特に、与えられたスタイルの画像に基づいてコンテンツイメージをスタイリングする分野では、多くの学者を惹きつけている。 この参照画像スタイリングタスクの主な課題は、スタイル画像の色とテクスチャの特徴を取り入れながら、コンテンツ画像の詳細を維持する方法にある。 この課題は、コンテンツイメージが複雑なテクスチャの詳細を持つポートレートであるときにさらに顕著になる。 この課題に対処するために、MagicStyleと呼ばれるポートレート専用の拡散モデルに基づく参照画像スタイリング手法を提案する。 MagicStyleはコンテンツとスタイルDDIMインバージョン(CSDI)とFeature Fusion Forward(FFF)の2つのフェーズで構成されている。 CSDIフェーズは、コンテントイメージとスタイルイメージに対してDDIMインバージョンを別々に実行し、インバージョンプロセス中に両方の画像の自己アテンションクエリ、キーと値の特徴を格納する逆復調処理を含む。 FFFフェーズは、事前記憶された特徴クエリ、キー、値からテクスチャと色情報を、よく設計された特徴融合注意(FFA)に基づいて拡散生成プロセスに統合し、前方分解を実行する。 提案するMagicStyleとFFAの有効性を検証するため,総合比較・アブレーション実験を行った。

関連論文リスト

• Beyond Color and Lines: Zero-Shot Style-Specific Image Variations with Coordinated Semantics [3.9717825324709413]
  スタイルは、主に色、ブラシストローク、照明といった芸術的要素の観点から検討されてきた。 本研究では,コーディネート・セマンティクスを用いた画像変化のためのゼロショット・スキームを提案する。
  論文  参考訳（メタデータ） (2024-10-24T08:34:57Z)
• FAGStyle: Feature Augmentation on Geodesic Surface for Zero-shot Text-guided Diffusion Image Style Transfer [2.3293561091456283]
  イメージスタイル転送の目標は、オリジナルのコンテンツを維持しながら、スタイル参照によってガイドされたイメージをレンダリングすることである。 ゼロショットテキスト誘導拡散画像スタイル転送方式であるFAGStyleを紹介する。 提案手法は,スライディングウィンドウクロップを組み込むことにより,パッチ間の情報インタラクションを向上させる。
  論文  参考訳（メタデータ） (2024-08-20T04:20:11Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• D2Styler: Advancing Arbitrary Style Transfer with Discrete Diffusion Methods [2.468658581089448]
  D$2$Styler (Discrete Diffusion Styler) と呼ばれる新しいフレームワークを提案する。 本手法では,アダプティブインスタンス正規化(AdaIN)機能を逆拡散過程のコンテキストガイドとして用いる。 実験により、D$2$Stylerは高品質なスタイル変換画像を生成することが示された。
  論文  参考訳（メタデータ） (2024-08-07T05:47:06Z)
• ArtWeaver: Advanced Dynamic Style Integration via Diffusion Model [73.95608242322949]
  Stylized Text-to-Image Generation (STIG)は、テキストプロンプトとスタイル参照画像から画像を生成することを目的としている。 我々は、事前訓練された安定拡散を利用して、誤解釈スタイルや一貫性のない意味論といった課題に対処する新しいフレームワーク、ArtWeaverを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:19:40Z)
• Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting [64.43760427752532]
  顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。 現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。 本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-03T06:48:35Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
  本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。 ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。 提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
  論文  参考訳（メタデータ） (2022-07-12T09:49:21Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• UMFA: A photorealistic style transfer method based on U-Net and multi-layer feature aggregation [0.0]
  本稿では,フォトリアリスティックなイメージスタイリングの自然な効果を強調するために,フォトリアリスティックなスタイル転送ネットワークを提案する。 特に、高密度ブロックに基づくエンコーダとU-Netの対称構造を形成するデコーダとを連立して、効率的な特徴抽出と画像再構成を実現する。
  論文  参考訳（メタデータ） (2021-08-13T08:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。