論文の概要: Diffusion-Based Image-to-Image Translation by Noise Correction via Prompt Interpolation

• arxiv url: http://arxiv.org/abs/2409.08077v1
• Date: Thu, 12 Sep 2024 14:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 16:17:53.640567
• Title: Diffusion-Based Image-to-Image Translation by Noise Correction via Prompt Interpolation
• Title（参考訳）: プロンプト補間による雑音補正による拡散に基づく画像間変換
• Authors: Junsung Lee, Minsoo Kang, Bohyung Han,
• Abstract要約: 本稿では,拡散に基づく画像から画像への変換に適した学習自由なアプローチを提案する。 本手法は,既存の画像から画像への翻訳手法に容易に組み込むことができる。
• 参考スコア（独自算出の注目度）: 43.48099716183503
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a simple but effective training-free approach tailored to diffusion-based image-to-image translation. Our approach revises the original noise prediction network of a pretrained diffusion model by introducing a noise correction term. We formulate the noise correction term as the difference between two noise predictions; one is computed from the denoising network with a progressive interpolation of the source and target prompt embeddings, while the other is the noise prediction with the source prompt embedding. The final noise prediction network is given by a linear combination of the standard denoising term and the noise correction term, where the former is designed to reconstruct must-be-preserved regions while the latter aims to effectively edit regions of interest relevant to the target prompt. Our approach can be easily incorporated into existing image-to-image translation methods based on diffusion models. Extensive experiments verify that the proposed technique achieves outstanding performance with low latency and consistently improves existing frameworks when combined with them.
• Abstract（参考訳）: 本稿では,拡散に基づく画像-画像間翻訳に適した,シンプルで効果的なトレーニング不要な手法を提案する。 提案手法では,雑音補正項を導入することにより,事前学習した拡散モデルの元の雑音予測ネットワークを改訂する。 ノイズ補正項を、2つのノイズ予測の差として定式化し、1つは、音源を進行的に補間した遮音ネットワークから算出し、もう1つは音源のプロンプト埋め込みによるノイズ予測である。 最終雑音予測ネットワークは、標準雑音予測項と雑音補正項の線形結合により与えられるもので、前者は保存すべき領域を再構築し、後者は対象のプロンプトに関連する領域を効果的に編集することを目的としている。 本手法は,拡散モデルに基づく既存の画像から画像への変換手法に容易に組み込むことができる。 大規模な実験により、提案手法は低レイテンシで優れた性能を達成し、組み合わさって既存のフレームワークを継続的に改善することを確認した。

関連論文リスト

• Diffusion Priors for Variational Likelihood Estimation and Image Denoising [10.548018200066858]
  本稿では,現実の雑音に対処するために,逆拡散過程における適応的確率推定とMAP推定を提案する。 実世界の多様なデータセットの実験と分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-23T02:52:53Z)
• Beyond Image Prior: Embedding Noise Prior into Conditional Denoising Transformer [17.430622649002427]
  既存の学習ベースの推論手法は、大規模なデータセットからイメージを一般化するためにモデルを訓練するのが一般的である。 本稿では,ノイズと画像の先行部分の分離を区別することによる,難読化問題に対する新たな視点を提案する。 本稿では,1つの生雑音画像から直接先行する雑音を正確に推定する局所雑音優先推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-12T08:43:11Z)
• InitNO: Boosting Text-to-Image Diffusion Models via Initial Noise Optimization [27.508861002013358]
  InitNOは、意味的に忠実な画像の初期ノイズを洗練させるパラダイムである。 戦略的に構築されたノイズ最適化パイプラインは、初期ノイズを有効領域へ導くために開発された。 厳密な実験によって検証された本手法は,テキストのプロンプトに厳密な一致で画像を生成する能力を示す。
  論文  参考訳（メタデータ） (2024-04-06T14:56:59Z)
• NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation [86.7260950382448]
  画像の妥当性を補正する新しい手法としてノイズ拡散法を提案する。 NoiseDiffusionはノイズの多い画像空間内で動作し、これらのノイズの多い画像に生画像を注入することで、情報損失の課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T12:32:25Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)
• SVNR: Spatially-variant Noise Removal with Denoising Diffusion [43.2405873681083]
  本稿では,より現実的で空間的変動のある雑音モデルを想定した,微分拡散の新たな定式化について述べる。 実験では,強い拡散モデルベースラインに対するアプローチの利点と,最先端の単一画像復号法に対するアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-28T09:32:00Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)
• Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
  Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。 ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。 デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
  論文  参考訳（メタデータ） (2021-01-08T02:03:25Z)
• Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation [52.75909685172843]
  実世界の画像ノイズ除去は、コンピュータビジョンにおける長年の課題である。 本稿では,ノイズ除去およびノイズ発生タスクに対処する新しい統合フレームワークを提案する。 本手法はクリーンノイズ画像対の連成分布を学習する。
  論文  参考訳（メタデータ） (2020-07-12T09:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。