論文の概要: Bridging Text and Image for Artist Style Transfer via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2410.09566v1
• Date: Sat, 12 Oct 2024 15:27:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 13:45:15.638375
• Title: Bridging Text and Image for Artist Style Transfer via Contrastive Learning
• Title（参考訳）: コントラスト学習によるアーティストスタイルの伝達のためのブリッジテキストと画像
• Authors: Zhi-Song Liu, Li-Wen Wang, Jun Xiao, Vicky Kalogeiton,
• Abstract要約: 本稿では,任意のスタイル転送を制御するためのCLAST(Contrastive Learning for Artistic Style Transfer)を提案する。 画像テキストモデルからスタイル記述を効果的に抽出するための教師付きコントラスト訓練戦略を導入する。 また,AdaLNをベースとした新規かつ効率的な状態空間モデルを提案する。
• 参考スコア（独自算出の注目度）: 21.962361974579036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image style transfer has attracted widespread attention in the past few years. Despite its remarkable results, it requires additional style images available as references, making it less flexible and inconvenient. Using text is the most natural way to describe the style. More importantly, text can describe implicit abstract styles, like styles of specific artists or art movements. In this paper, we propose a Contrastive Learning for Artistic Style Transfer (CLAST) that leverages advanced image-text encoders to control arbitrary style transfer. We introduce a supervised contrastive training strategy to effectively extract style descriptions from the image-text model (i.e., CLIP), which aligns stylization with the text description. To this end, we also propose a novel and efficient adaLN based state space models that explore style-content fusion. Finally, we achieve a text-driven image style transfer. Extensive experiments demonstrate that our approach outperforms the state-of-the-art methods in artistic style transfer. More importantly, it does not require online fine-tuning and can render a 512x512 image in 0.03s.
• Abstract（参考訳）: イメージスタイルの転送は、ここ数年で広く注目を集めている。 その顕著な結果にもかかわらず、参照として利用可能な追加のスタイルイメージが必要であるため、柔軟性が低く、不便である。 テキストの使用は、そのスタイルを記述する最も自然な方法です。 さらに重要なのは、特定のアーティストのスタイルや芸術運動など、暗黙の抽象的なスタイルを記述できることだ。 本稿では,高度な画像テキストエンコーダを用いて任意のスタイル転送を制御するCLAST(Contrastive Learning for Artistic Style Transfer)を提案する。 画像テキストモデル(CLIP)からスタイル記述を効果的に抽出するための教師付きコントラスト学習戦略を導入する。 そこで本研究では,AdaLNをベースとした高効率な状態空間モデルを提案する。 最後に,テキスト駆動型画像転送を実現する。 大規模な実験により,我々の手法は芸術的スタイルの伝達において最先端の手法よりも優れていることが示された。 さらに重要なのは、オンラインの微調整を必要とせず、512x512画像を0.03秒でレンダリングできることだ。

関連論文リスト

• StyleMamba : State Space Model for Efficient Text-driven Image Style Transfer [9.010012117838725]
  StyleMambaは、テキストプロンプトを対応する視覚スタイルに変換する効率的な画像スタイル転送フレームワークである。 既存のテキストガイドによるスタイリングには、数百のトレーニングイテレーションが必要で、多くのコンピューティングリソースが必要です。
  論文  参考訳（メタデータ） (2024-05-08T12:57:53Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate [58.83278629019384]
  スタイル転送は、コンテンツ参照のために、ある画像のスタイルを他の画像へのスタイル参照にレンダリングすることを目的としている。 既存のアプローチでは、スタイルイメージの全体的スタイルをグローバルな方法で適用するか、あるいは、スタイルイメージのローカル色とテクスチャを、事前に定義された方法でコンテンツに移行するかのいずれかである。 本稿では,Any-to-Any Style Transferを提案する。Any-to-Any Style Transferは,スタイル画像中の領域のスタイルを対話的に選択し,所定のコンテンツ領域に適用することができる。
  論文  参考訳（メタデータ） (2023-04-19T15:15:36Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• ITstyler: Image-optimized Text-based Style Transfer [25.60521982742093]
  推論段階で最適化を必要としないテキストベースのスタイル転送手法を提案する。 具体的には,テキスト入力を事前学習したVGGネットワークのスタイル空間に変換し,より効果的なスタイルスワップを実現する。 本手法は,任意のテキスト入力スタイルをリアルタイムに転送し,高品質な芸術画像を合成する。
  論文  参考訳（メタデータ） (2023-01-26T03:08:43Z)
• Inversion-Based Style Transfer with Diffusion Models [78.93863016223858]
  以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。 画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
  論文  参考訳（メタデータ） (2022-11-23T18:44:25Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Name Your Style: An Arbitrary Artist-aware Image Style Transfer [38.41608300670523]
  任意のスタイル転送を制御するために,高度な画像テキストエンコーダを利用するテキスト駆動型画像スタイル転送(TxST)を提案する。 画像テキストモデルからスタイル記述を効果的に抽出するための対照的なトレーニング戦略を導入する。 我々はまた、スタイルやコンテンツの特徴を融合するクロスアテンションを探求する、新しく効率的なアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2022-02-28T06:21:38Z)
• CLIPstyler: Image Style Transfer with a Single Text Condition [34.24876359759408]
  既存のニューラルスタイル転送法では、スタイル画像のテクスチャ情報をコンテンツ画像に転送するために参照スタイル画像が必要である。 そこで本稿では,スタイルイメージを必要とせず,所望のスタイルをテキストで記述した上でのみ,スタイル転送を可能にする新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-01T09:48:53Z)
• Language-Driven Image Style Transfer [72.36790598245096]
  我々は、テキストでガイドされたコンテンツイメージのスタイルを操作するための新しいタスク、言語駆動型イメージスタイル転送(textttLDIST)を導入する。 識別器は、スタイルイメージの言語とパッチの相関や、変換された結果の相関を考慮し、スタイル命令を共同で埋め込む。 実験により, CLVAは有効であり, textttLDIST 上で超高速に転送された結果が得られた。
  論文  参考訳（メタデータ） (2021-06-01T01:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。