論文の概要: Wavelet-Guided Acceleration of Text Inversion in Diffusion-Based Image Editing

• arxiv url: http://arxiv.org/abs/2401.09794v1
• Date: Thu, 18 Jan 2024 08:26:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 17:19:07.146520
• Title: Wavelet-Guided Acceleration of Text Inversion in Diffusion-Based Image Editing
• Title（参考訳）: 拡散ベース画像編集におけるウェーブレット誘導テキストインバージョン高速化
• Authors: Gwanhyeong Koo, Sunjae Yoon, Chang D. Yoo
• Abstract要約: 画像編集を高速化しながらNull-text Inversion(NTI)の原理を維持する革新的な手法を提案する。 本稿では,周波数特性に基づいてテキスト最適化の終端を決定するWave-Estimatorを提案する。 このアプローチは、NTI法と比較して平均編集時間を80%以上削減しつつ、NTIに匹敵する性能を維持している。
• 参考スコア（独自算出の注目度）: 24.338298020188155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the field of image editing, Null-text Inversion (NTI) enables fine-grained editing while preserving the structure of the original image by optimizing null embeddings during the DDIM sampling process. However, the NTI process is time-consuming, taking more than two minutes per image. To address this, we introduce an innovative method that maintains the principles of the NTI while accelerating the image editing process. We propose the WaveOpt-Estimator, which determines the text optimization endpoint based on frequency characteristics. Utilizing wavelet transform analysis to identify the image's frequency characteristics, we can limit text optimization to specific timesteps during the DDIM sampling process. By adopting the Negative-Prompt Inversion (NPI) concept, a target prompt representing the original image serves as the initial text value for optimization. This approach maintains performance comparable to NTI while reducing the average editing time by over 80% compared to the NTI method. Our method presents a promising approach for efficient, high-quality image editing based on diffusion models.
• Abstract（参考訳）: 画像編集の分野では、Null-text Inversion (NTI) は、DDIMサンプリングプロセス中にnull埋め込みを最適化することにより、元の画像の構造を保ちながら、きめ細かい編集を可能にする。 しかし、NTIプロセスは時間がかかり、1枚あたり2分以上かかる。 そこで我々は,画像編集プロセスの高速化を図りながら,NTIの原則を維持する革新的な手法を提案する。 周波数特性に基づいてテキスト最適化エンドポイントを決定するwaveopt-estimatorを提案する。 ウェーブレット変換解析を用いて画像の周波数特性を同定することにより、ddimサンプリングプロセス中に特定の時間ステップにテキスト最適化を制限できる。 負のprompt inversion (npi) の概念を採用することで、元の画像を表す目標プロンプトが最適化のための初期テキスト値となる。 このアプローチは、NTI法と比較して平均編集時間を80%以上削減しつつ、NTIに匹敵する性能を維持している。 本手法は拡散モデルに基づく効率的な高品質画像編集に有望な手法である。

関連論文リスト

• PostEdit: Posterior Sampling for Efficient Zero-Shot Image Editing [63.38854614997581]
  拡散サンプリングプロセスを制御するために後続のスキームを組み込んだPostEditを導入する。 提案したPostEditは、未編集領域を正確に保存しながら、最先端の編集性能を実現する。 インバージョンもトレーニングも不要で、約1.5秒と18GBのGPUメモリを必要とするため、高品質な結果が得られる。
  論文  参考訳（メタデータ） (2024-10-07T09:04:50Z)
• FRAP: Faithful and Realistic Text-to-Image Generation with Adaptive Prompt Weighting [18.708185548091716]
  FRAPは、画像毎のプロンプト重み付けを適応的に調整し、生成した画像の即時アライメントと認証を改善するための、シンプルで効果的なアプローチである。 FRAPは、複雑なデータセットからのプロンプトに対して、プロンプト画像のアライメントが著しく高い画像を生成する。 また, FRAPとLPMの即時書き直しを併用して, 劣化した即時画像のアライメントを復元する方法について検討した。
  論文  参考訳（メタデータ） (2024-08-21T15:30:35Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• FastDrag: Manipulate Anything in One Step [20.494157877241665]
  本稿では,FastDragというワンステップのドラッグベースの画像編集手法を導入し,編集プロセスの高速化を図る。 この革新は1段階の遅延セマンティック最適化を実現し、編集速度を大幅に向上させる。 私たちのFastDragはDragBenchデータセットで検証されています。
  論文  参考訳（メタデータ） (2024-05-24T17:59:26Z)
• TiNO-Edit: Timestep and Noise Optimization for Robust Diffusion-Based Image Editing [12.504661526518234]
  我々は、編集中のノイズパターンと拡散時間の最適化に焦点をあてたSDベースのTiNO-Editを提案する。 SDの潜在領域で動作する新しい損失関数のセットを提案し、最適化を大幅に高速化する。 本手法は,Textual InversionやDreamBoothなど,SDのバリエーションに容易に適用することができる。
  論文  参考訳（メタデータ） (2024-04-17T07:08:38Z)
• Tuning-Free Image Customization with Image and Text Guidance [65.9504243633169]
  テキスト画像の同時カスタマイズのためのチューニング不要なフレームワークを提案する。 提案手法は,テキスト記述に基づく詳細な属性の修正が可能でありながら,参照画像のセマンティックな特徴を保っている。 提案手法は,人的・定量的評価において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-19T11:48:35Z)
• Latent Inversion with Timestep-aware Sampling for Training-free Non-rigid Editing [56.536695050042546]
  安定拡散を用いた非剛性編集のための学習自由アプローチを提案する。 提案手法は,テキスト最適化,潜時反転,タイムステップ対応テキストインジェクションサンプリングの3段階からなる。 本手法の有効性を,アイデンティティの保存,編集性,美的品質の観点から示す。
  論文  参考訳（メタデータ） (2024-02-13T17:08:35Z)
• MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image Translation by Prompts Redescription and Beyond [57.14128305383768]
  拡散モデル(MirrorDiffusion)における音源と再構成画像のミラー効果を実現するための素早い再記述手法を提案する。 MirrorDiffusionはゼロショット画像変換ベンチマークの最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-01-06T14:12:16Z)
• Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models [6.34777393532937]
  本稿では,テキスト駆動画像編集のための高精度かつ高速な変換手法であるPrompt Tuning Inversionを提案する。 提案手法は再構築段階と編集段階から構成される。 ImageNetの実験は、最先端のベースラインと比較して、我々の手法の編集性能が優れていることを実証している。
  論文  参考訳（メタデータ） (2023-05-08T03:34:33Z)
• Null-text Inversion for Editing Real Images using Guided Diffusion Models [44.27570654402436]
  精度の高い逆変換手法を導入し、直感的なテキストベースの画像修正を容易にする。 我々のNull-textインバージョンは、公開されている安定拡散モデルに基づいて、様々な画像に対して広範囲に評価し、迅速な編集を行う。
  論文  参考訳（メタデータ） (2022-11-17T18:58:14Z)
• Deep Unfolded Recovery of Sub-Nyquist Sampled Ultrasound Image [94.42139459221784]
  本稿では,ISTAアルゴリズムの展開に基づく時空間領域におけるサブNyquistサンプルからの再構成手法を提案する。 本手法は,高品質な撮像性能を確保しつつ,配列要素数,サンプリングレート,計算時間を削減できる。
  論文  参考訳（メタデータ） (2021-03-01T19:19:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。