論文の概要: StyleMamba : State Space Model for Efficient Text-driven Image Style Transfer

• arxiv url: http://arxiv.org/abs/2405.05027v1
• Date: Wed, 8 May 2024 12:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 14:24:42.496289
• Title: StyleMamba : State Space Model for Efficient Text-driven Image Style Transfer
• Title（参考訳）: StyleMamba : テキスト駆動型画像転送のための状態空間モデル
• Authors: Zijia Wang, Zhi-Song Liu,
• Abstract要約: StyleMambaは、テキストプロンプトを対応する視覚スタイルに変換する効率的な画像スタイル転送フレームワークである。 既存のテキストガイドによるスタイリングには、数百のトレーニングイテレーションが必要で、多くのコンピューティングリソースが必要です。
• 参考スコア（独自算出の注目度）: 9.010012117838725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present StyleMamba, an efficient image style transfer framework that translates text prompts into corresponding visual styles while preserving the content integrity of the original images. Existing text-guided stylization requires hundreds of training iterations and takes a lot of computing resources. To speed up the process, we propose a conditional State Space Model for Efficient Text-driven Image Style Transfer, dubbed StyleMamba, that sequentially aligns the image features to the target text prompts. To enhance the local and global style consistency between text and image, we propose masked and second-order directional losses to optimize the stylization direction to significantly reduce the training iterations by 5 times and the inference time by 3 times. Extensive experiments and qualitative evaluation confirm the robust and superior stylization performance of our methods compared to the existing baselines.
• Abstract（参考訳）: テキストプロンプトを対応する視覚スタイルに変換する上で,元の画像の内容の整合性を保ちながら,効率的な画像スタイル転送フレームワークであるStyleMambaを提案する。 既存のテキストガイドによるスタイリングには、数百のトレーニングイテレーションが必要で、多くのコンピューティングリソースが必要です。 この処理を高速化するために,StyleMambaと呼ばれるテキスト駆動画像スタイル転送のための条件付き状態空間モデルを提案する。 テキストと画像間の局所的およびグローバルなスタイルの整合性を高めるため,スタイライズ方向を最適化し,トレーニングイテレーションを5倍,推論時間を3倍に削減するために,マスク付きおよび2次方向の損失を提案する。 大規模実験と定性評価により,既存のベースラインと比較して,本手法の頑健かつ優れたスタイライズ性能が確認された。

関連論文リスト

• Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
  テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。 我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
  論文  参考訳（メタデータ） (2024-04-05T13:44:39Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• ControlStyle: Text-Driven Stylized Image Generation Using Diffusion Priors [105.37795139586075]
  そこで本研究では,テキスト駆動型スタイリング画像生成という,テキスト・イメージ・モデルをスタイリングするための新しいタスクを提案する。 トレーニング可能な変調ネットワークで事前訓練されたテキスト・ツー・イメージモデルをアップグレードすることで,新しい拡散モデル(ControlStyle)を提案する。 実験では、より視覚的で芸術的な結果を生み出すためのコントロールスタイルの有効性が示されています。
  論文  参考訳（メタデータ） (2023-11-09T15:50:52Z)
• ITstyler: Image-optimized Text-based Style Transfer [25.60521982742093]
  推論段階で最適化を必要としないテキストベースのスタイル転送手法を提案する。 具体的には,テキスト入力を事前学習したVGGネットワークのスタイル空間に変換し,より効果的なスタイルスワップを実現する。 本手法は,任意のテキスト入力スタイルをリアルタイムに転送し,高品質な芸術画像を合成する。
  論文  参考訳（メタデータ） (2023-01-26T03:08:43Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• CLIPstyler: Image Style Transfer with a Single Text Condition [34.24876359759408]
  既存のニューラルスタイル転送法では、スタイル画像のテクスチャ情報をコンテンツ画像に転送するために参照スタイル画像が必要である。 そこで本稿では,スタイルイメージを必要とせず,所望のスタイルをテキストで記述した上でのみ,スタイル転送を可能にする新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-01T09:48:53Z)
• STALP: Style Transfer with Auxiliary Limited Pairing [36.23393954839379]
  本稿では,1対のソース画像と,そのスタイリング画像を用いた画像の例ベーススタイリング手法を提案する。 本研究では,対象画像に対するリアルタイムな意味論的スタイル転送が可能な画像翻訳ネットワークの訓練方法を示す。
  論文  参考訳（メタデータ） (2021-10-20T11:38:41Z)
• Language-Driven Image Style Transfer [72.36790598245096]
  我々は、テキストでガイドされたコンテンツイメージのスタイルを操作するための新しいタスク、言語駆動型イメージスタイル転送(textttLDIST)を導入する。 識別器は、スタイルイメージの言語とパッチの相関や、変換された結果の相関を考慮し、スタイル命令を共同で埋め込む。 実験により, CLVAは有効であり, textttLDIST 上で超高速に転送された結果が得られた。
  論文  参考訳（メタデータ） (2021-06-01T01:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。