論文の概要: Delta Denoising Score
- arxiv url: http://arxiv.org/abs/2304.07090v1
- Date: Fri, 14 Apr 2023 12:22:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 13:35:22.854825
- Title: Delta Denoising Score
- Title(参考訳): Delta Denoising Score
- Authors: Amir Hertz, Kfir Aberman, Daniel Cohen-Or
- Abstract要約: テキストベースの画像編集のための新しいスコアリング機能であるDelta Denoising Score (DDS)を紹介する。
ターゲットプロンプトに記述された内容に対して、入力画像の最小限の変更を導く。
- 参考スコア(独自算出の注目度): 51.98288453616375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Delta Denoising Score (DDS), a novel scoring function for
text-based image editing that guides minimal modifications of an input image
towards the content described in a target prompt. DDS leverages the rich
generative prior of text-to-image diffusion models and can be used as a loss
term in an optimization problem to steer an image towards a desired direction
dictated by a text. DDS utilizes the Score Distillation Sampling (SDS)
mechanism for the purpose of image editing. We show that using only SDS often
produces non-detailed and blurry outputs due to noisy gradients. To address
this issue, DDS uses a prompt that matches the input image to identify and
remove undesired erroneous directions of SDS. Our key premise is that SDS
should be zero when calculated on pairs of matched prompts and images, meaning
that if the score is non-zero, its gradients can be attributed to the erroneous
component of SDS. Our analysis demonstrates the competence of DDS for text
based image-to-image translation. We further show that DDS can be used to train
an effective zero-shot image translation model. Experimental results indicate
that DDS outperforms existing methods in terms of stability and quality,
highlighting its potential for real-world applications in text-based image
editing.
- Abstract(参考訳): 対象プロンプトで記述されたコンテンツに対して、入力画像の最小限の変更を導くテキストベースの画像編集のための新しいスコア関数であるdelta denoising score(dds)を導入する。
ddsは、テキストから画像への拡散モデルの豊かな生成前処理を活用し、テキストによって指示された所望の方向に向けて画像を制御するための最適化問題において、損失項として使用できる。
DDSは画像編集のためにScore Distillation Sampling (SDS) 機構を使用している。
本研究では,SDSのみを用いることで,ノイズ勾配による非詳細でぼやけた出力がしばしば発生することを示す。
この問題に対処するために、DDSは入力画像と一致するプロンプトを使用して、SDSの望ましくない誤った方向を特定し、削除する。
我々のキーとなる前提は、SDSは一致したプロンプトと画像のペアで計算されたときにゼロであるべきであり、スコアがゼロでない場合、その勾配はSDSの誤った成分に帰せられるということである。
本分析は,テキストによる画像から画像への変換におけるDDSの能力を示す。
さらに,実効的なゼロショット画像翻訳モデルの訓練にDDSを使用できることを示す。
実験の結果,DDSは既存の手法よりも安定性と品質が優れており,テキストベースの画像編集における現実的な応用の可能性を強調している。
関連論文リスト
- Score Distillation Sampling with Learned Manifold Corrective [41.54375201921829]
本稿では、スコア蒸留サンプリング(SDS)損失関数の詳細な解析を行い、その定式化による固有の問題を特定し、驚くほど簡単だが効果的な修正を提案する。
損失を異なる要因に分解し,ノイズ勾配の原因となる成分を分離する。
元の定式化では、ノイズを考慮に入れ、不要な副作用を引き起こすため、画像拡散モデルの時間依存性の劣化を模倣した浅いネットワークを訓練し、効果的に分解する。
論文 参考訳(メタデータ) (2024-01-10T17:51:46Z) - MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image
Translation by Prompts Redescription and Beyond [57.14128305383768]
拡散モデル(MirrorDiffusion)における音源と再構成画像のミラー効果を実現するための素早い再記述手法を提案する。
MirrorDiffusionはゼロショット画像変換ベンチマークの最先端手法よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2024-01-06T14:12:16Z) - StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。
まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。
第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-02T02:27:58Z) - Contrastive Denoising Score for Text-guided Latent Diffusion Image
Editing [63.89492742059184]
本稿では,LDM(Latent Image-to-image Translation Model)に対するCDS(Contrastive Denoising Score)の変更について述べる。
具体的には,フレームワーク内のCUT損失を用いて構造的整合性を制御するための簡単なアプローチを提案する。
提案手法は,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集を可能にする。
論文 参考訳(メタデータ) (2023-11-30T15:06:10Z) - Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。
従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。
本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
論文 参考訳(メタデータ) (2023-11-22T11:10:45Z) - Noise-Free Score Distillation [78.79226724549456]
ノイズフリースコア蒸留(NFSD)プロセスは、オリジナルのSDSフレームワークに最小限の変更を必要とする。
我々は,CFG尺度を用いて,事前学習したテキスト・画像拡散モデルのより効果的な蒸留を行う。
論文 参考訳(メタデータ) (2023-10-26T17:12:26Z) - SDEdit: Image Synthesis and Editing with Stochastic Differential
Equations [113.35735935347465]
微分方程式を用いた最近の生成モデルに基づく微分編集(SDEdit)を導入する。
ユーザが編集した入力画像が与えられたら、まずSDEに従って入力にノイズを付加し、その後、逆SDEをシミュレートして、その確率を前より徐々に増加させます。
GANインバージョンに基づく最近の画像編集手法において重要な要素であるタスク固有損失関数の設計は不要である。
論文 参考訳(メタデータ) (2021-08-02T17:59:47Z) - Towards Interpretable Ensemble Learning for Image-based Malware
Detection [4.721069729610892]
本論文では,画像に基づくマルウェア検出のための相互理解型アンサンブル学習手法の設計を目的とする。
実験の結果、iemdは99.87%まで検出精度が向上し、高い精度の予測結果が得られた。
論文 参考訳(メタデータ) (2021-01-13T05:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。