論文の概要: ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and Implicit Style Prompt Bank

• arxiv url: http://arxiv.org/abs/2312.06135v1
• Date: Mon, 11 Dec 2023 05:53:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 16:53:53.514657
• Title: ArtBank: Artistic Style Transfer with Pre-trained Diffusion Model and Implicit Style Prompt Bank
• Title（参考訳）: ArtBank: 事前学習型拡散モデルとインシシット型プロンプトバンクによるアートスタイルのトランスファー
• Authors: Zhanjie Zhang, Quanwei Zhang, Guangyuan Li, Wei Xing, Lei Zhao, Jiakai Sun, Zehua Lan, Junsheng Luan, Yiling Huang, Huaizhong Lin
• Abstract要約: アートスタイルの転送は、学習したアートスタイルでコンテンツイメージを再描画することを目的としている。 既存のスタイル転送手法は、小さなモデルベースアプローチと、事前訓練された大規模モデルベースアプローチの2つのカテゴリに分けられる。 本研究では,高度にリアルなスタイライズされた画像を生成するために,アートバンクという新しいスタイル転送フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.99530386586636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artistic style transfer aims to repaint the content image with the learned artistic style. Existing artistic style transfer methods can be divided into two categories: small model-based approaches and pre-trained large-scale model-based approaches. Small model-based approaches can preserve the content strucuture, but fail to produce highly realistic stylized images and introduce artifacts and disharmonious patterns; Pre-trained large-scale model-based approaches can generate highly realistic stylized images but struggle with preserving the content structure. To address the above issues, we propose ArtBank, a novel artistic style transfer framework, to generate highly realistic stylized images while preserving the content structure of the content images. Specifically, to sufficiently dig out the knowledge embedded in pre-trained large-scale models, an Implicit Style Prompt Bank (ISPB), a set of trainable parameter matrices, is designed to learn and store knowledge from the collection of artworks and behave as a visual prompt to guide pre-trained large-scale models to generate highly realistic stylized images while preserving content structure. Besides, to accelerate training the above ISPB, we propose a novel Spatial-Statistical-based self-Attention Module (SSAM). The qualitative and quantitative experiments demonstrate the superiority of our proposed method over state-of-the-art artistic style transfer methods.
• Abstract（参考訳）: 芸術的スタイル移転は、学習した芸術的スタイルでコンテンツイメージを塗り替えることを目的としている。 既存のアートスタイル転送手法は、小規模モデルベースアプローチと事前訓練された大規模モデルベースアプローチの2つのカテゴリに分類できる。 訓練済みの大規模モデルベースアプローチは、非常に現実的なスタイル化されたイメージを生成するが、コンテンツ構造を保存するのに苦労する。 そこで本稿では,コンテンツ画像のコンテンツ構造を維持しつつ,高度にリアルなスタイル化された画像を生成するための,新しいアートスタイル転送フレームワークであるartbankを提案する。 具体的には、事前学習された大規模モデルに埋め込まれた知識を十分に掘り下げるために、トレーニング可能なパラメータ行列の集合であるImplicit Style Prompt Bank (ISPB) は、学習し、学習したアート作品の集合から知識を保存し、学習済みの大規模モデルに視覚的プロンプトとして振舞うように設計され、コンテンツ構造を保ちながら、高度にリアルなスタイル化されたイメージを生成する。 また,上述のispbの学習を加速するために,新しい空間統計ベースセルフアテンションモジュール (ssam) を提案する。 定性的かつ定量的な実験は,最先端の芸術的スタイル伝達法よりも提案手法の方が優れていることを示す。

関連論文リスト

• Content-style disentangled representation for controllable artistic image stylization and generation [0.0]
  制御可能な芸術的イメージスタイリングと生成は、テキストや画像が提供するコンテンツを学習された芸術的スタイルでレンダリングすることを目的としている。 本稿では,芸術的イメージのスタイル化と生成を制御可能なコンテンツスタイルの表現分離手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T03:42:58Z)
• IntroStyle: Training-Free Introspective Style Attribution using Diffusion Features [89.95303251220734]
  本稿では,拡散モデルのみによって生成された特徴を用いて,スタイル帰属問題を解決するための学習自由フレームワークを提案する。 これはイントロスペクティブなスタイル属性(IntroStyle)と表現され、スタイル検索の最先端モデルよりも優れたパフォーマンスを示す。 また,芸術的スタイルを分離し,きめ細かなスタイル帰属性能を評価するために,スタイルハック(SHacks)の合成データセットも導入した。
  論文  参考訳（メタデータ） (2024-12-19T01:21:23Z)
• Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder [57.574544285878794]
  Ada-Adapterは拡散モデルの少数ショットスタイルのパーソナライズのための新しいフレームワークである。 提案手法は,単一の参照画像を用いたゼロショット方式の効率的な転送を可能にする。 フラットアートや3Dレンダリング,ロゴデザインなど,さまざまな芸術的スタイルに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-08T02:00:17Z)
• MuseumMaker: Continual Style Customization without Catastrophic Forgetting [50.12727620780213]
  本研究では,一組のカスタマイズスタイルを終末的に追従することで,画像の合成を可能にする方法であるMuseumMakerを提案する。 新しいカスタマイズスタイルに直面すると、新しい画像生成のためのトレーニングデータのスタイルを抽出し学習するスタイル蒸留損失モジュールを開発する。 これは、新しい訓練画像の内容による学習バイアスを最小限に抑え、少数ショット画像によって引き起こされる破滅的な過適合問題に対処することができる。
  論文  参考訳（メタデータ） (2024-04-25T13:51:38Z)
• Towards Highly Realistic Artistic Style Transfer via Stable Diffusion with Step-aware and Layer-aware Prompt [12.27693060663517]
  芸術的スタイルの転送は、学習した芸術的スタイルを任意のコンテンツイメージに転送することを目的としており、芸術的なスタイル化されたイメージを生成する。 LSASTと呼ばれる,事前学習型拡散型アートスタイルトランスファー手法を提案する。 提案手法は,最先端の芸術的スタイル伝達法よりも,よりリアルな芸術的スタイル化画像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-17T15:28:53Z)
• Generative AI Model for Artistic Style Transfer Using Convolutional Neural Networks [0.0]
  芸術的なスタイルの転送は、ある画像の内容を別の芸術的なスタイルに融合させ、ユニークな視覚的な構成を作り出すことである。 本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいスタイル伝達手法の概要を概説する。
  論文  参考訳（メタデータ） (2023-10-27T16:21:17Z)
• DIFF-NST: Diffusion Interleaving For deFormable Neural Style Transfer [27.39248034592382]
  変形可能なスタイル転送を実現しつつ,新しいモデルのクラスを用いてスタイル転送を行う。 これらのモデルの先行モデルを活用することで、推論時に新たな芸術的コントロールが公開できることを示す。
  論文  参考訳（メタデータ） (2023-07-09T12:13:43Z)
• Learning to Evaluate the Artness of AI-generated Images [64.48229009396186]
  アートスコア(ArtScore)は、アーティストによる本物のアートワークと画像がどの程度似ているかを評価するために設計されたメトリクスである。 我々は、写真とアートワークの生成のために事前訓練されたモデルを採用し、一連の混合モデルを生み出した。 このデータセットはニューラルネットワークのトレーニングに使用され、任意の画像の定量化精度レベルを推定する方法を学ぶ。
  論文  参考訳（メタデータ） (2023-05-08T17:58:27Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Neural Artistic Style Transfer with Conditional Adversaria [0.0]
  神経芸術スタイル変換モデルは、有名な画像のスタイルを追加することで、単純な画像の外観を変更することができる。 本稿では,画像独立型ニューラルスタイル転送モデルに向けた2つの手法を提案する。 我々の新しい貢献は、モデルアーキテクチャによる循環的一貫性を保証する一方向GANモデルである。
  論文  参考訳（メタデータ） (2023-02-08T04:34:20Z)
• Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
  以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。 画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
  論文  参考訳（メタデータ） (2022-11-23T18:44:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。