論文の概要: FreeDiff: Progressive Frequency Truncation for Image Editing with Diffusion Models

• arxiv url: http://arxiv.org/abs/2404.11895v2
• Date: Tue, 13 Aug 2024 06:48:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 22:35:03.995108
• Title: FreeDiff: Progressive Frequency Truncation for Image Editing with Diffusion Models
• Title（参考訳）: FreeDiff:拡散モデルを用いた画像編集のための進行周波数トランケーション
• Authors: Wei Wu, Qingnan Fan, Shuai Qin, Hong Gu, Ruoyu Zhao, Antoni B. Chan,
• Abstract要約: 我々は、プログレッシブな$textbfFre$qu$textbfe$ncy truncationを用いて、ユニバーサル編集タスクのための$textbfDiff$usionモデルのガイダンスを洗練するために、新しいフリーアプローチを導入する。 本手法は,様々な編集タスクや多様な画像に対して,最先端の手法で比較結果を得る。
• 参考スコア（独自算出の注目度）: 44.26371926512843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Precise image editing with text-to-image models has attracted increasing interest due to their remarkable generative capabilities and user-friendly nature. However, such attempts face the pivotal challenge of misalignment between the intended precise editing target regions and the broader area impacted by the guidance in practice. Despite excellent methods leveraging attention mechanisms that have been developed to refine the editing guidance, these approaches necessitate modifications through complex network architecture and are limited to specific editing tasks. In this work, we re-examine the diffusion process and misalignment problem from a frequency perspective, revealing that, due to the power law of natural images and the decaying noise schedule, the denoising network primarily recovers low-frequency image components during the earlier timesteps and thus brings excessive low-frequency signals for editing. Leveraging this insight, we introduce a novel fine-tuning free approach that employs progressive $\textbf{Fre}$qu$\textbf{e}$ncy truncation to refine the guidance of $\textbf{Diff}$usion models for universal editing tasks ($\textbf{FreeDiff}$). Our method achieves comparable results with state-of-the-art methods across a variety of editing tasks and on a diverse set of images, highlighting its potential as a versatile tool in image editing applications.
• Abstract（参考訳）: テキスト・ツー・イメージ・モデルによる高精度な画像編集は、その顕著な生成能力とユーザフレンドリーな性質から、関心を集めている。 しかし、これらの試みは、意図した正確な編集対象領域と、実際的なガイダンスの影響を受けやすい領域との相違という重要な課題に直面している。 編集指導を洗練させるために開発された注意機構を活用する優れた手法にもかかわらず、これらの手法は複雑なネットワークアーキテクチャによる修正を必要とし、特定の編集タスクに限定されている。 そこで本研究では,自然画像のパワー則やノイズスケジュールの減衰により,低周波画像成分を初期処理時に主に回収し,過度に低周波信号を編集する手法を提案する。 この知見を生かして、プログレッシブな$\textbf{Fre}$qu$\textbf{e}$ncy truncationを用いて、ユニバーサルな編集タスクに対する$\textbf{Diff}$usionモデルのガイダンスを洗練させる、新しい微調整自由アプローチを導入する(\textbf{FreeDiff}$)。 本手法は,画像編集における汎用ツールとしての可能性を強調し,様々な編集タスクや多様な画像に対して,最先端の手法で同等の結果を得る。

関連論文リスト

• Taming Rectified Flow for Inversion and Editing [57.3742655030493]
  FLUXやOpenSoraのような定流拡散変換器は、画像生成やビデオ生成の分野では例外的な性能を示した。 その堅牢な生成能力にもかかわらず、これらのモデルはしばしば不正確な逆転に悩まされ、画像やビデオ編集などの下流タスクにおける有効性を制限できる。 本稿では,修正フローODEの解法における誤差を低減し,インバージョン精度を向上させる新しいトレーニングフリーサンプリング器RF-rを提案する。
  論文  参考訳（メタデータ） (2024-11-07T14:29:02Z)
• Schedule Your Edit: A Simple yet Effective Diffusion Noise Schedule for Image Editing [42.45138713525929]
  効率的な編集では、ソースイメージを潜在空間に反転させる必要があり、このプロセスはDDIMの反転に固有の予測エラーによってしばしば妨げられる。 特異性を排除し、インバージョン安定性を改善し、画像編集のためのより良いノイズ空間を提供する新しいノイズスケジュールであるロジスティックスケジュールを導入する。 提案手法では追加のトレーニングは必要とせず,既存の編集手法と互換性がある。
  論文  参考訳（メタデータ） (2024-10-24T14:07:02Z)
• Guide-and-Rescale: Self-Guidance Mechanism for Effective Tuning-Free Real Image Editing [42.73883397041092]
  本稿では,誘導機構による拡散サンプリングプロセスの修正に基づく新しい手法を提案する。 本研究では,入力画像の全体構造を保存するための自己誘導手法について検討する。 本稿では,人間の評価と定量的分析を通じて,提案手法が望ましい編集を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-09-02T15:21:46Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• Streamlining Image Editing with Layered Diffusion Brushes [8.738398948669609]
  我々のシステムは、ハイエンドの消費者向けGPUを使用して、140ミリ秒以内の512x512画像に1回の編集を行う。 提案手法は,オブジェクト属性の調整,エラー訂正,逐次的なプロンプトベースのオブジェクト配置と操作など,さまざまなタスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-05-01T04:30:03Z)
• Eta Inversion: Designing an Optimal Eta Function for Diffusion-based Real Image Editing [2.5602836891933074]
  実際の画像を編集するための一般的な戦略は、拡散過程を反転させて元の画像のノイズ表現を得る。 拡散反転の現在の方法は、しばしば特定のテキストプロンプトに忠実で、ソースイメージによく似ている編集を生成するのに苦労する。 本稿では, DDIMサンプリング式における$eta$の役割を理論的に解析し, 編集性の向上を図った, 実画像編集のための新規かつ適応的な拡散インバージョン手法を提案する。
  論文  参考訳（メタデータ） (2024-03-14T15:07:36Z)
• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• LIME: Localized Image Editing via Attention Regularization in Diffusion Models [74.3811832586391]
  本稿では,ユーザ指定の関心領域 (RoI) や追加のテキスト入力を必要としない拡散モデルにおける局所化画像編集のためのLIMEを提案する。 本手法では,事前学習した手法と単純なクラスタリング手法を用いて,正確なセマンティックセグメンテーションマップを得る。 そこで本研究では,RoIにおける非関係なクロスアテンションスコアをデノナイジングステップ中にペナライズし,局所的な編集を確実にする新しいクロスアテンション正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。