論文の概要: FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation

• arxiv url: http://arxiv.org/abs/2408.00998v1
• Date: Fri, 2 Aug 2024 04:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:36:49.801078
• Title: FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation
• Title（参考訳）: FBSDiff: 高可制御性テキスト駆動画像変換のための拡散機能のプラグアンドプレイ周波数帯域置換
• Authors: Xiang Gao, Jiaying Liu,
• Abstract要約: 本稿では,T2I拡散モデルとイメージ・ツー・イメージ(I2I)パラダイムをプラグ・アンド・プレイ方式で適用する,新しい,簡潔かつ効率的なアプローチを提案する。 本手法は,参照画像の導出係数と導出強度の両方において,高い制御性を有するテキスト駆動型I2I翻訳を実現する。
• 参考スコア（独自算出の注目度）: 19.65838242227773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale text-to-image diffusion models have been a revolutionary milestone in the evolution of generative AI and multimodal technology, allowing extraordinary image generation based on natural-language text prompts. However, the issue of lacking controllability of such models restricts their practical applicability for real-life content creation, for which attention has been focused on leveraging a reference image to control text-to-image synthesis. Due to the close correlation between the reference image and the generated image, this problem can also be regarded as the task of manipulating (or editing) the reference image as per the text, namely text-driven image-to-image translation. This paper contributes a novel, concise, and efficient approach that adapts the pre-trained large-scale text-to-image (T2I) diffusion model to the image-to-image (I2I) paradigm in a plug-and-play manner, realizing high-quality and versatile text-driven I2I translation without any model training, model fine-tuning, or online optimization process. To guide T2I generation with a reference image, we propose to model diverse guiding factors with correspondingly different frequency bands of diffusion features in the DCT spectral space, and accordingly devise a novel frequency band substitution layer that dynamically substitutes a certain DCT frequency band of the diffusion features with the corresponding counterpart of the reference image along the reverse sampling process. We demonstrate that our method flexibly enables highly controllable text-driven I2I translation both in the guiding factor and guiding intensity of the reference image, simply by tuning the type and bandwidth of the substituted frequency band, respectively. Extensive qualitative and quantitative experiments verify the superiority of our approach over related methods in I2I translation visual quality, versatility, and controllability.
• Abstract（参考訳）: 大規模テキスト画像拡散モデルは、生成的AIとマルチモーダル技術の進化における画期的なマイルストーンであり、自然言語のテキストプロンプトに基づいた並外れた画像生成を可能にしている。 しかし,このようなモデルの制御性の欠如は,参照画像を利用したテキスト・ツー・イメージの合成制御に注目が集まっている実生活コンテンツ作成の実践的適用性を制限している。 参照画像と生成された画像との密接な相関から、この問題は、テキスト駆動の画像から画像への変換という、テキストごとの参照画像を操作(あるいは編集)するタスクと見なすこともできる。 本稿では,大規模テキスト・ツー・イメージ(T2I)拡散モデルとイメージ・ツー・イメージ(I2I)パラダイムをプラグ・アンド・プレイ方式で適用し,モデルトレーニングやモデル微調整,オンライン最適化などなしに高品質で多目的なテキスト駆動型I2I翻訳を実現する,新しい,簡潔かつ効率的なアプローチを提案する。 基準画像を用いてT2I生成を誘導するため、DCTスペクトル空間における拡散特徴の周波数帯域の異なる多様な誘導因子をモデル化し、その逆サンプリング過程に沿った参照画像に対応する拡散特徴の特定のDCT周波数帯域を動的に置換する新しい周波数帯域置換層を考案する。 提案手法は,各周波数帯域のタイプと帯域幅を調整し,テキスト駆動型I2I翻訳を基準画像の導出係数と導出強度の両方で柔軟に実現できることを実証する。 広汎な質的,定量的実験により,I2I翻訳の視覚的品質,汎用性,制御性に対するアプローチの優位性を検証した。

関連論文リスト

• Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models [54.052963634384945]
  画像再生タスクを導入し,テキスト・ツー・イメージ・モデルの評価を行う。 我々はGPT4Vを用いて参照画像とT2Iモデルのテキスト入力のギャップを埋める。 また、生成した画像の品質を高めるために、ImageRepainterフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:52:43Z)
• Frequency-Controlled Diffusion Model for Versatile Text-Guided Image-to-Image Translation [17.30877810859863]
  大規模テキスト・ツー・イメージ拡散モデル(T2I)は画像・画像翻訳(I2I)の強力なツールとして登場した。 本稿では,周波数制御拡散モデル(FCDiffusion)を提案する。
  論文  参考訳（メタデータ） (2024-07-03T11:05:19Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• Controlling Text-to-Image Diffusion by Orthogonal Finetuning [74.21549380288631]
  そこで本研究では,テキストから画像への拡散モデルを下流タスクに適用するための原理的な微調整手法であるorthogonal Finetuning(OFT)を提案する。 既存の方法とは異なり、OFTは単位超球上の対のニューロン関係を特徴付ける超球面エネルギーを確実に保存することができる。 我々のOFTフレームワークは、生成品質と収束速度において既存の手法よりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-06-12T17:59:23Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)
• TIME: Text and Image Mutual-Translation Adversarial Networks [55.1298552773457]
  テキストと画像相互変換対応ネットワーク(TIME)を提案する。 TIMEは、T2IジェネレータGと画像キャプション識別器Dをジェネレータネットワークフレームワークで学習する。 実験では、TIMEはCUBおよびMS-COCOデータセット上での最先端(SOTA)性能を達成する。
  論文  参考訳（メタデータ） (2020-05-27T06:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。