論文の概要: Towards Real-time Text-driven Image Manipulation with Unconditional Diffusion Models

• arxiv url: http://arxiv.org/abs/2304.04344v1
• Date: Mon, 10 Apr 2023 01:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 16:16:09.558511
• Title: Towards Real-time Text-driven Image Manipulation with Unconditional Diffusion Models
• Title（参考訳）: 非条件拡散モデルを用いたリアルタイムテキスト駆動画像操作
• Authors: Nikita Starodubcev, Dmitry Baranchuk, Valentin Khrulkov and Artem Babenko
• Abstract要約: 画像操作を4.5～10倍高速に学習し、8倍高速に適用するアルゴリズムを開発した。 提案手法では,事前学習したモデルをユーザの指定した画像やテキスト記述にわずか4秒で適用することができる。
• 参考スコア（独自算出の注目度）: 33.993466872389085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in diffusion models enable many powerful instruments for image editing. One of these instruments is text-driven image manipulations: editing semantic attributes of an image according to the provided text description. % Popular text-conditional diffusion models offer various high-quality image manipulation methods for a broad range of text prompts. Existing diffusion-based methods already achieve high-quality image manipulations for a broad range of text prompts. However, in practice, these methods require high computation costs even with a high-end GPU. This greatly limits potential real-world applications of diffusion-based image editing, especially when running on user devices. In this paper, we address efficiency of the recent text-driven editing methods based on unconditional diffusion models and develop a novel algorithm that learns image manipulations 4.5-10 times faster and applies them 8 times faster. We carefully evaluate the visual quality and expressiveness of our approach on multiple datasets using human annotators. Our experiments demonstrate that our algorithm achieves the quality of much more expensive methods. Finally, we show that our approach can adapt the pretrained model to the user-specified image and text description on the fly just for 4 seconds. In this setting, we notice that more compact unconditional diffusion models can be considered as a rational alternative to the popular text-conditional counterparts.
• Abstract（参考訳）: 近年の拡散モデルにより、画像編集のための強力な機器が多数実現されている。 これらの機器の1つは、テキスト駆動の画像操作であり、提供されるテキスト記述に従って画像の意味的属性を編集する。 一般的なテキスト条件拡散モデルは、幅広いテキストプロンプトに対して様々な高品質の画像操作方法を提供する。 既存の拡散法はすでに幅広いテキストプロンプトに対して高品質な画像操作を実現している。 しかし実際には、これらの手法はハイエンドのGPUでも高い計算コストを必要とする。 これは、拡散ベースの画像編集、特にユーザーデバイス上で実行される場合の実際のアプリケーションの可能性を大きく制限する。 本稿では,無条件拡散モデルに基づく最近のテキスト駆動編集手法の効率化に取り組み,画像操作を4.5～10倍高速に学習し,8倍高速化する新しいアルゴリズムを開発した。 我々は、人間のアノテータを用いて、複数のデータセットに対するアプローチの視覚的品質と表現性を慎重に評価する。 実験により,我々のアルゴリズムがより高価な手法の品質を達成することを実証した。 最後に,ユーザの指定した画像とテキスト記述に事前学習したモデルを4秒間だけ適用可能であることを示す。 この設定では、よりコンパクトな非条件拡散モデルは、人気のあるテキスト条件拡散モデルに対する合理的な代替と見なすことができる。

関連論文リスト

• ARTIST: Improving the Generation of Text-rich Images with Disentangled Diffusion Models [52.23899502520261]
  テキスト構造学習に焦点を当てたARTISTという新しいフレームワークを提案する。 我々は、事前訓練されたテキスト構造モデルからテキスト構造情報を同化できるように、視覚拡散モデルを微調整する。 MARIO-Evalベンチマークの実証結果は,提案手法の有効性を裏付けるものであり,様々な指標において最大15%の改善が見られた。
  論文  参考訳（メタデータ） (2024-06-17T19:31:24Z)
• Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering [118.53208190209517]
  本稿では,拡散モデルの適切なテキスト記述を即時学習により学習するフレームワークを提案する。 提案手法は,入力されたテキストと生成された画像とのマッチングを改善するためのプロンプトを効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-01-12T03:46:29Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models [6.34777393532937]
  本稿では,テキスト駆動画像編集のための高精度かつ高速な変換手法であるPrompt Tuning Inversionを提案する。 提案手法は再構築段階と編集段階から構成される。 ImageNetの実験は、最先端のベースラインと比較して、我々の手法の編集性能が優れていることを実証している。
  論文  参考訳（メタデータ） (2023-05-08T03:34:33Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• Direct Inversion: Optimization-Free Text-Driven Real Image Editing with Diffusion Models [0.0]
  本稿では,テキストプロンプトを介し,複雑な非厳密な編集を1つの実画像に適用する最適化フリーでゼロな微調整フレームワークを提案する。 高品質,多様性,セマンティック・コヒーレント,忠実な実画像編集において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-15T01:07:38Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• LDEdit: Towards Generalized Text Guided Image Manipulation via Latent Diffusion Models [12.06277444740134]
  フレキシブルテキスト入力を持つ単一モデルを用いた汎用画像操作は非常に望ましい。 最近の研究は、事前学習された視覚言語エンコーダを用いて、ジェネリックイメージで訓練された生成モデルを導くことで、この課題に対処している。 本稿では,テキストプロンプトから画像の汎用的な操作を行うための最適化不要な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T13:26:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。