論文の概要: InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2407.00788v1
- Date: Sun, 30 Jun 2024 18:05:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 01:27:28.003362
- Title: InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation
- Title（参考訳）: InstantStyle-Plus:テキスト・画像生成におけるコンテンツ保存によるスタイル転送
- Authors: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai,
- Abstract要約: スタイル転送(Style Transfer)は、視覚的なスタイルを取り入れながら、オリジナルの本質を維持するイメージを作成するために設計された革新的なプロセスである。
InstantStyle-Plusは、ターゲットスタイルをシームレスに統合しながら、オリジナルコンテンツの整合性を優先するアプローチである。
- 参考スコア（独自算出の注目度）: 4.1177497612346
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.
- Abstract（参考訳）: スタイル転送(Style Transfer)は、視覚的なスタイルを取り入れながら、オリジナルの本質を維持するイメージを作成するために設計された革新的なプロセスである。
拡散モデルは、パーソナライズされた主題駆動型またはスタイル駆動型アプリケーションにおいて印象的な生成力を示しているが、既存の最先端の手法は、コンテンツ保存とスタイル強化のシームレスなバランスを達成できない。
例えば、スタイルの影響を増幅することは、しばしば内容の構造的整合性を損なう。
これらの課題に対処するために、スタイル転送タスクを3つの中核要素に分解する。
1)イメージの美的特徴に着目したスタイル
2 視覚要素の幾何学的配置及び構成に関する空間構造及び
3)イメージの概念的意味を捉えたセマンティックコンテンツ。
InstantStyle-Plusは、ターゲットのスタイルをシームレスに統合しながら、オリジナルコンテンツの整合性を優先するアプローチです。
具体的には,最先端のInstantStyleフレームワークを利用して,効率的で軽量なプロセスによるスタイルインジェクションを実現する。
コンテンツ保存を強化するため,オリジナル画像の内在的レイアウトを保存するために,逆コンテンツ遅延ノイズと多目的プラグアンドプレイタイル制御ネットで処理を開始する。
また,グローバルなセマンティックアダプタを組み込んで,セマンティックコンテンツの忠実度を高める。
スタイル情報の希薄化を防止するため、補足的なスタイルガイダンスを提供するための判別器としてスタイル抽出器を用いる。
コードはhttps://github.com/instantX-research/InstantStyle-Plus.comで入手できる。
関連論文リスト
- DiffuseST: Unleashing the Capability of the Diffusion Model for Style Transfer [13.588643982359413]
スタイル転送は、スタイル画像の芸術的表現をコンテンツ画像の構造情報と融合させることを目的としている。
既存の方法は特定のネットワークを訓練したり、事前訓練されたモデルを使ってコンテンツやスタイルの特徴を学習する。
本稿では,テキスト埋め込みと空間的特徴を組み合わせた,新しい学習不要なスタイル伝達手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:42:43Z) - FAGStyle: Feature Augmentation on Geodesic Surface for Zero-shot Text-guided Diffusion Image Style Transfer [2.3293561091456283]
イメージスタイル転送の目標は、オリジナルのコンテンツを維持しながら、スタイル参照によってガイドされたイメージをレンダリングすることである。
ゼロショットテキスト誘導拡散画像スタイル転送方式であるFAGStyleを紹介する。
提案手法は,スライディングウィンドウクロップを組み込むことにより,パッチ間の情報インタラクションを向上させる。
論文 参考訳（メタデータ） (2024-08-20T04:20:11Z) - ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳（メタデータ） (2024-08-10T08:53:41Z) - ArtWeaver: Advanced Dynamic Style Integration via Diffusion Model [73.95608242322949]
Stylized Text-to-Image Generation (STIG)は、テキストプロンプトとスタイル参照画像から画像を生成することを目的としている。
我々は、事前訓練された安定拡散を利用して、誤解釈スタイルや一貫性のない意味論といった課題に対処する新しいフレームワーク、ArtWeaverを提案する。
論文 参考訳（メタデータ） (2024-05-24T07:19:40Z) - InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation [5.364489068722223]
スタイルの概念は本質的に過小評価されており、色、材料、雰囲気、デザイン、構造といった様々な要素を含んでいる。
インバージョンベースの手法はスタイルの劣化を招きやすいため、細かな細部が失われることが多い。
アダプタベースのアプローチでは、スタイル強度とテキストの制御性のバランスをとるために、参照画像ごとに微妙な重み調整が必要となることが多い。
論文 参考訳（メタデータ） (2024-04-03T13:34:09Z) - Style Aligned Image Generation via Shared Attention [61.121465570763085]
本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。
拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。
本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
論文 参考訳（メタデータ） (2023-12-04T18:55:35Z) - StyleAdapter: A Unified Stylized Image Generation Model [97.24936247688824]
StyleAdapterは、様々なスタイリング画像を生成することができる統一型スタイリング画像生成モデルである。
T2I-adapter や ControlNet のような既存の制御可能な合成手法と統合することができる。
論文 参考訳（メタデータ） (2023-09-04T19:16:46Z) - InfoStyler: Disentanglement Information Bottleneck for Artistic Style
Transfer [22.29381866838179]
アートスタイルの転送は、アートワークのスタイルを、オリジナル全体のコンテンツを維持しながら写真に転送することを目的としている。
本稿では,コンテンツとスタイル表現の両面において,最小限の情報を取得するために,InfoStylerという新しい情報分離手法を提案する。
論文 参考訳（メタデータ） (2023-07-30T13:38:56Z) - StyleStegan: Leak-free Style Transfer Based on Feature Steganography [19.153040728118285]
既存のスタイル転送方式は 重大なコンテンツ漏洩に悩まされています
特徴ステガノグラフィーに基づくリークフリーなスタイル転送手法を提案する。
その結果、StyleSteganは、シリアルおよび可逆的なスタイル転送タスクにおいて、コンテンツのリーク問題を緩和することに成功した。
論文 参考訳（メタデータ） (2023-07-01T05:00:19Z) - DiffStyler: Controllable Dual Diffusion for Text-Driven Image
Stylization [66.42741426640633]
DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。
本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
論文 参考訳（メタデータ） (2022-11-19T12:30:44Z) - Parameter-Free Style Projection for Arbitrary Style Transfer [64.06126075460722]
本稿では,パラメータフリー,高速,効果的なコンテンツスタイル変換のための特徴レベル変換手法であるStyle Projectionを提案する。
本稿では、任意の画像スタイルの転送にスタイル投影を利用するリアルタイムフィードフォワードモデルを提案する。
論文 参考訳（メタデータ） (2020-03-17T13:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。