論文の概要: DyArtbank: Diverse Artistic Style Transfer via Pre-trained Stable Diffusion and Dynamic Style Prompt Artbank
- arxiv url: http://arxiv.org/abs/2503.08392v1
- Date: Tue, 11 Mar 2025 12:56:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:42:44.417324
- Title: DyArtbank: Diverse Artistic Style Transfer via Pre-trained Stable Diffusion and Dynamic Style Prompt Artbank
- Title(参考訳): DyArtbank: トレーニング済みの安定拡散とダイナミックスタイルのプロンプトアートバンクによる異種アートスタイルのトランスファー
- Authors: Zhanjie Zhang, Quanwei Zhang, Guangyuan Li, Junsheng Luan, Mengyuan Yang, Yun Wang, Lei Zhao,
- Abstract要約: アートスタイルの転送は、学習したスタイルを任意のコンテンツイメージに転送することを目的としている。
既存のスタイル転送手法の多くは、一貫した芸術的なスタイル化画像のみを描画できる。
そこで我々はDyArtbankという,多彩でリアルな芸術的スタイルのイメージを生成可能な,新しい芸術的スタイルのトランスファーフレームワークを提案する。
- 参考スコア(独自算出の注目度): 10.193101382716373
- License:
- Abstract: Artistic style transfer aims to transfer the learned style onto an arbitrary content image. However, most existing style transfer methods can only render consistent artistic stylized images, making it difficult for users to get enough stylized images to enjoy. To solve this issue, we propose a novel artistic style transfer framework called DyArtbank, which can generate diverse and highly realistic artistic stylized images. Specifically, we introduce a Dynamic Style Prompt ArtBank (DSPA), a set of learnable parameters. It can learn and store the style information from the collection of artworks, dynamically guiding pre-trained stable diffusion to generate diverse and highly realistic artistic stylized images. DSPA can also generate random artistic image samples with the learned style information, providing a new idea for data augmentation. Besides, a Key Content Feature Prompt (KCFP) module is proposed to provide sufficient content prompts for pre-trained stable diffusion to preserve the detailed structure of the input content image. Extensive qualitative and quantitative experiments verify the effectiveness of our proposed method. Code is available: https://github.com/Jamie-Cheung/DyArtbank
- Abstract(参考訳): アートスタイルの転送は、学習したスタイルを任意のコンテンツイメージに転送することを目的としている。
しかし、既存のほとんどのスタイル転送方式は、一貫したスタイル化された画像しかレンダリングできないため、ユーザーが十分にスタイル化された画像を楽しむことは困難である。
この問題を解決するために,DyArtbankという,多種多様でリアルなスタイル化画像を生成する新しいスタイル変換フレームワークを提案する。
具体的には、学習可能なパラメータのセットであるDynamic Style Prompt ArtBank (DSPA)を紹介する。
美術品のコレクションからスタイル情報を学習し、保存し、動的に訓練済みの安定した拡散を誘導し、多彩で非常にリアルな芸術的なスタイル化されたイメージを生成する。
DSPAはまた、学習スタイル情報を用いてランダムな芸術的イメージサンプルを生成することができ、データ拡張の新しいアイデアを提供する。
さらに,入力内容画像の詳細な構造を維持するために,事前学習した安定拡散のための十分なコンテンツプロンプトを提供するために,キーコンテンツ特徴プロンプト(KCFP)モジュールを提案する。
大規模定性的および定量的実験により,提案手法の有効性が検証された。
コードは:https://github.com/Jamie-Cheung/DyArtbank
関連論文リスト
- DiffuseST: Unleashing the Capability of the Diffusion Model for Style Transfer [13.588643982359413]
スタイル転送は、スタイル画像の芸術的表現をコンテンツ画像の構造情報と融合させることを目的としている。
既存の方法は特定のネットワークを訓練したり、事前訓練されたモデルを使ってコンテンツやスタイルの特徴を学習する。
本稿では,テキスト埋め込みと空間的特徴を組み合わせた,新しい学習不要なスタイル伝達手法を提案する。
論文 参考訳(メタデータ) (2024-10-19T06:42:43Z) - Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder [57.574544285878794]
Ada-Adapterは拡散モデルの少数ショットスタイルのパーソナライズのための新しいフレームワークである。
提案手法は,単一の参照画像を用いたゼロショット方式の効率的な転送を可能にする。
フラットアートや3Dレンダリング,ロゴデザインなど,さまざまな芸術的スタイルに対するアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2024-07-08T02:00:17Z) - MuseumMaker: Continual Style Customization without Catastrophic Forgetting [50.12727620780213]
本研究では,一組のカスタマイズスタイルを終末的に追従することで,画像の合成を可能にする方法であるMuseumMakerを提案する。
新しいカスタマイズスタイルに直面すると、新しい画像生成のためのトレーニングデータのスタイルを抽出し学習するスタイル蒸留損失モジュールを開発する。
これは、新しい訓練画像の内容による学習バイアスを最小限に抑え、少数ショット画像によって引き起こされる破滅的な過適合問題に対処することができる。
論文 参考訳(メタデータ) (2024-04-25T13:51:38Z) - Towards Highly Realistic Artistic Style Transfer via Stable Diffusion with Step-aware and Layer-aware Prompt [12.27693060663517]
芸術的スタイルの転送は、学習した芸術的スタイルを任意のコンテンツイメージに転送することを目的としており、芸術的なスタイル化されたイメージを生成する。
LSASTと呼ばれる,事前学習型拡散型アートスタイルトランスファー手法を提案する。
提案手法は,最先端の芸術的スタイル伝達法よりも,よりリアルな芸術的スタイル化画像を生成することができる。
論文 参考訳(メタデータ) (2024-04-17T15:28:53Z) - ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and
Implicit Style Prompt Bank [9.99530386586636]
アートスタイルの転送は、学習したアートスタイルでコンテンツイメージを再描画することを目的としている。
既存のスタイル転送手法は、小さなモデルベースアプローチと、事前訓練された大規模モデルベースアプローチの2つのカテゴリに分けられる。
本研究では,高度にリアルなスタイライズされた画像を生成するために,アートバンクという新しいスタイル転送フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T05:53:40Z) - InfoStyler: Disentanglement Information Bottleneck for Artistic Style
Transfer [22.29381866838179]
アートスタイルの転送は、アートワークのスタイルを、オリジナル全体のコンテンツを維持しながら写真に転送することを目的としている。
本稿では,コンテンツとスタイル表現の両面において,最小限の情報を取得するために,InfoStylerという新しい情報分離手法を提案する。
論文 参考訳(メタデータ) (2023-07-30T13:38:56Z) - QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity [94.5479418998225]
視覚的忠実度の高いスタイリングのためのQuantArtと呼ばれる新しいスタイル転送フレームワークを提案する。
本フレームワークは,既存のスタイル転送方式と比較して,視覚的忠実度を著しく向上させる。
論文 参考訳(メタデータ) (2022-12-20T17:09:53Z) - Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。
画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
論文 参考訳(メタデータ) (2022-11-23T18:44:25Z) - DiffStyler: Controllable Dual Diffusion for Text-Driven Image
Stylization [66.42741426640633]
DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。
本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
論文 参考訳(メタデータ) (2022-11-19T12:30:44Z) - Interactive Style Transfer: All is Your Palette [74.06681967115594]
本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。
私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
論文 参考訳(メタデータ) (2022-03-25T06:38:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。