論文の概要: ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and
Implicit Style Prompt Bank
- arxiv url: http://arxiv.org/abs/2312.06135v1
- Date: Mon, 11 Dec 2023 05:53:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 16:53:53.514657
- Title: ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and
Implicit Style Prompt Bank
- Title(参考訳): ArtBank: 事前学習型拡散モデルとインシシット型プロンプトバンクによるアートスタイルのトランスファー
- Authors: Zhanjie Zhang, Quanwei Zhang, Guangyuan Li, Wei Xing, Lei Zhao, Jiakai
Sun, Zehua Lan, Junsheng Luan, Yiling Huang, Huaizhong Lin
- Abstract要約: アートスタイルの転送は、学習したアートスタイルでコンテンツイメージを再描画することを目的としている。
既存のスタイル転送手法は、小さなモデルベースアプローチと、事前訓練された大規模モデルベースアプローチの2つのカテゴリに分けられる。
本研究では,高度にリアルなスタイライズされた画像を生成するために,アートバンクという新しいスタイル転送フレームワークを提案する。
- 参考スコア(独自算出の注目度): 9.99530386586636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artistic style transfer aims to repaint the content image with the learned
artistic style. Existing artistic style transfer methods can be divided into
two categories: small model-based approaches and pre-trained large-scale
model-based approaches. Small model-based approaches can preserve the content
strucuture, but fail to produce highly realistic stylized images and introduce
artifacts and disharmonious patterns; Pre-trained large-scale model-based
approaches can generate highly realistic stylized images but struggle with
preserving the content structure. To address the above issues, we propose
ArtBank, a novel artistic style transfer framework, to generate highly
realistic stylized images while preserving the content structure of the content
images. Specifically, to sufficiently dig out the knowledge embedded in
pre-trained large-scale models, an Implicit Style Prompt Bank (ISPB), a set of
trainable parameter matrices, is designed to learn and store knowledge from the
collection of artworks and behave as a visual prompt to guide pre-trained
large-scale models to generate highly realistic stylized images while
preserving content structure. Besides, to accelerate training the above ISPB,
we propose a novel Spatial-Statistical-based self-Attention Module (SSAM). The
qualitative and quantitative experiments demonstrate the superiority of our
proposed method over state-of-the-art artistic style transfer methods.
- Abstract(参考訳): 芸術的スタイル移転は、学習した芸術的スタイルでコンテンツイメージを塗り替えることを目的としている。
既存のアートスタイル転送手法は、小規模モデルベースアプローチと事前訓練された大規模モデルベースアプローチの2つのカテゴリに分類できる。
訓練済みの大規模モデルベースアプローチは、非常に現実的なスタイル化されたイメージを生成するが、コンテンツ構造を保存するのに苦労する。
そこで本稿では,コンテンツ画像のコンテンツ構造を維持しつつ,高度にリアルなスタイル化された画像を生成するための,新しいアートスタイル転送フレームワークであるartbankを提案する。
具体的には、事前学習された大規模モデルに埋め込まれた知識を十分に掘り下げるために、トレーニング可能なパラメータ行列の集合であるImplicit Style Prompt Bank (ISPB) は、学習し、学習したアート作品の集合から知識を保存し、学習済みの大規模モデルに視覚的プロンプトとして振舞うように設計され、コンテンツ構造を保ちながら、高度にリアルなスタイル化されたイメージを生成する。
また,上述のispbの学習を加速するために,新しい空間統計ベースセルフアテンションモジュール (ssam) を提案する。
定性的かつ定量的な実験は,最先端の芸術的スタイル伝達法よりも提案手法の方が優れていることを示す。
関連論文リスト
- Generative AI Model for Artistic Style Transfer Using Convolutional
Neural Networks [0.0]
芸術的なスタイルの転送は、ある画像の内容を別の芸術的なスタイルに融合させ、ユニークな視覚的な構成を作り出すことである。
本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいスタイル伝達手法の概要を概説する。
論文 参考訳(メタデータ) (2023-10-27T16:21:17Z) - DIFF-NST: Diffusion Interleaving For deFormable Neural Style Transfer [27.39248034592382]
変形可能なスタイル転送を実現しつつ,新しいモデルのクラスを用いてスタイル転送を行う。
これらのモデルの先行モデルを活用することで、推論時に新たな芸術的コントロールが公開できることを示す。
論文 参考訳(メタデータ) (2023-07-09T12:13:43Z) - Learning to Evaluate the Artness of AI-generated Images [72.06263228104709]
アートスコア(ArtScore)は、アーティストによる本物のアートワークと画像がどの程度似ているかを評価するために設計されたメトリクスである。
我々は、写真とアートワークの生成のために事前訓練されたモデルを採用し、一連の混合モデルを生み出した。
このデータセットはニューラルネットワークのトレーニングに使用され、任意の画像の定量化精度レベルを推定する方法を学ぶ。
論文 参考訳(メタデータ) (2023-05-08T17:58:27Z) - ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer [60.6863849241972]
我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
論文 参考訳(メタデータ) (2023-04-12T10:33:18Z) - NeAT: Neural Artistic Tracing for Beautiful Style Transfer [29.38791171225834]
スタイル転送は、第2のターゲット画像の芸術的スタイルでソース画像の意味内容を再現するタスクである。
我々は、新しい最先端のフィードフォワードスタイル転送方式NeATを提案する。
我々はBBST-4Mを用いて、様々なスタイルにわたるNeATの一般化を改善し、測定する。
論文 参考訳(メタデータ) (2023-04-11T11:08:13Z) - StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized
Tokenizer of a Large-Scale Generative Model [64.26721402514957]
本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。
具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。
スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
論文 参考訳(メタデータ) (2023-03-16T12:44:44Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳(メタデータ) (2023-03-09T04:35:00Z) - Neural Artistic Style Transfer with Conditional Adversaria [0.0]
神経芸術スタイル変換モデルは、有名な画像のスタイルを追加することで、単純な画像の外観を変更することができる。
本稿では,画像独立型ニューラルスタイル転送モデルに向けた2つの手法を提案する。
我々の新しい貢献は、モデルアーキテクチャによる循環的一貫性を保証する一方向GANモデルである。
論文 参考訳(メタデータ) (2023-02-08T04:34:20Z) - QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity [94.5479418998225]
視覚的忠実度の高いスタイリングのためのQuantArtと呼ばれる新しいスタイル転送フレームワークを提案する。
本フレームワークは,既存のスタイル転送方式と比較して,視覚的忠実度を著しく向上させる。
論文 参考訳(メタデータ) (2022-12-20T17:09:53Z) - Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。
画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
論文 参考訳(メタデータ) (2022-11-23T18:44:25Z) - AesUST: Towards Aesthetic-Enhanced Universal Style Transfer [15.078430702469886]
AesUSTは、新しいユニバーサルスタイルトランスファーアプローチである。
本研究では, 芸術作品の大規模なコーパスから, 普遍的な美的特徴を学習するための美的差別化手法を提案する。
また,モデルをより効果的にトレーニングするために,2つの審美規則を組み込んだ新しい2段階移動訓練戦略を開発した。
論文 参考訳(メタデータ) (2022-08-27T13:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。