論文の概要: Z-STAR+: A Zero-shot Style Transfer Method via Adjusting Style Distribution
- arxiv url: http://arxiv.org/abs/2411.19231v1
- Date: Thu, 28 Nov 2024 15:56:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:20:04.227674
- Title: Z-STAR+: A Zero-shot Style Transfer Method via Adjusting Style Distribution
- Title（参考訳）: Z-STAR+:スタイル分布調整によるゼロショットスタイル転送方式
- Authors: Yingying Deng, Xiangyu He, Fan Tang, Weiming Dong,
- Abstract要約: スタイル転送は重要な課題であり、主に適切なスタイル表現を特定することに焦点を当てている。
既存の手法とは対照的に,バニラ拡散モデルにおける潜在的特徴が自然的スタイルや内容分布を本質的に含んでいることが判明した。
提案手法では,コンテンツ参照とスタイル参照を遅延空間で表現するために,デュアル・デノナイズ・パスを採用し,その後,スタイル遅延符号を用いたコンテントイメージ・デノナイズ・プロセスの導出を行う。
- 参考スコア（独自算出の注目度）: 24.88532732093652
- License:
- Abstract: Style transfer presents a significant challenge, primarily centered on identifying an appropriate style representation. Conventional methods employ style loss, derived from second-order statistics or contrastive learning, to constrain style representation in the stylized result. However, these pre-defined style representations often limit stylistic expression, leading to artifacts. In contrast to existing approaches, we have discovered that latent features in vanilla diffusion models inherently contain natural style and content distributions. This allows for direct extraction of style information and seamless integration of generative priors into the content image without necessitating retraining. Our method adopts dual denoising paths to represent content and style references in latent space, subsequently guiding the content image denoising process with style latent codes. We introduce a Cross-attention Reweighting module that utilizes local content features to query style image information best suited to the input patch, thereby aligning the style distribution of the stylized results with that of the style image. Furthermore, we design a scaled adaptive instance normalization to mitigate inconsistencies in color distribution between style and stylized images on a global scale. Through theoretical analysis and extensive experimentation, we demonstrate the effectiveness and superiority of our diffusion-based \uline{z}ero-shot \uline{s}tyle \uline{t}ransfer via \uline{a}djusting style dist\uline{r}ibution, termed Z-STAR+.
- Abstract（参考訳）: スタイル転送は重要な課題であり、主に適切なスタイル表現を特定することに焦点を当てている。
従来の手法では、二階統計学や対照的な学習から派生したスタイル損失を用いて、スタイル化された結果のスタイル表現を制約する。
しかし、これらの事前定義されたスタイル表現は、しばしばスタイル表現を制限し、アーティファクトに繋がる。
既存の手法とは対照的に,バニラ拡散モデルにおける潜在的特徴が自然的スタイルや内容分布を本質的に含んでいることが判明した。
これにより、スタイル情報の直接抽出や、コンテンツイメージへの生成前のシームレスな統合を、再トレーニングを必要とせずに実現することができる。
提案手法では,コンテンツ参照とスタイル参照を遅延空間で表現するために,デュアル・デノナイズ・パスを採用し,その後,スタイル遅延符号を用いたコンテントイメージ・デノナイズ・プロセスの導出を行う。
本稿では、ローカルコンテンツ機能を利用して、入力パッチに最も適したスタイルイメージ情報をクエリし、スタイル化された結果のスタイル分布とスタイルイメージのスタイル分布を整合させるクロスアテンションリウェイトモジュールを提案する。
さらに,グローバルスケールにおけるスタイルとスタイル化画像間の色分布の不整合を軽減するために,適応型インスタンス正規化のスケール化を設計する。
理論解析と広範な実験を通じて、Z-STAR+ と呼ばれる、拡散に基づく \uline{z}ero-shot \uline{s}tyle \uline{t}ransfer の有効性と優位性を示す。
関連論文リスト
- DiffuseST: Unleashing the Capability of the Diffusion Model for Style Transfer [13.588643982359413]
スタイル転送は、スタイル画像の芸術的表現をコンテンツ画像の構造情報と融合させることを目的としている。
既存の方法は特定のネットワークを訓練したり、事前訓練されたモデルを使ってコンテンツやスタイルの特徴を学習する。
本稿では,テキスト埋め込みと空間的特徴を組み合わせた,新しい学習不要なスタイル伝達手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:42:43Z) - ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳（メタデータ） (2024-08-10T08:53:41Z) - Portrait Diffusion: Training-free Face Stylization with
Chain-of-Painting [64.43760427752532]
顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。
現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。
本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-03T06:48:35Z) - $Z^*$: Zero-shot Style Transfer via Attention Rearrangement [27.185432348397693]
本研究では,バニラ拡散モデルが直接スタイル情報を抽出し,生成前の情報をコンテンツイメージにシームレスに統合できることを示す。
我々は、遅延空間におけるコンテンツ/スタイル参照を表すために、デュアル・デノナイズ・パスを採用し、次に、スタイル・レイト・コードでコンテンツ・イメージ・デノナイズ・プロセスをガイドする。
論文 参考訳（メタデータ） (2023-11-25T11:03:43Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-03-09T04:35:00Z) - DiffStyler: Controllable Dual Diffusion for Text-Driven Image
Stylization [66.42741426640633]
DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。
本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
論文 参考訳（メタデータ） (2022-11-19T12:30:44Z) - Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。
本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
論文 参考訳（メタデータ） (2022-07-24T07:41:31Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2022-05-19T13:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。