論文の概要: Delta Denoising Score

• arxiv url: http://arxiv.org/abs/2304.07090v1
• Date: Fri, 14 Apr 2023 12:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 13:35:22.854825
• Title: Delta Denoising Score
• Title（参考訳）: Delta Denoising Score
• Authors: Amir Hertz, Kfir Aberman, Daniel Cohen-Or
• Abstract要約: テキストベースの画像編集のための新しいスコアリング機能であるDelta Denoising Score (DDS)を紹介する。 ターゲットプロンプトに記述された内容に対して、入力画像の最小限の変更を導く。
• 参考スコア（独自算出の注目度）: 51.98288453616375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Delta Denoising Score (DDS), a novel scoring function for text-based image editing that guides minimal modifications of an input image towards the content described in a target prompt. DDS leverages the rich generative prior of text-to-image diffusion models and can be used as a loss term in an optimization problem to steer an image towards a desired direction dictated by a text. DDS utilizes the Score Distillation Sampling (SDS) mechanism for the purpose of image editing. We show that using only SDS often produces non-detailed and blurry outputs due to noisy gradients. To address this issue, DDS uses a prompt that matches the input image to identify and remove undesired erroneous directions of SDS. Our key premise is that SDS should be zero when calculated on pairs of matched prompts and images, meaning that if the score is non-zero, its gradients can be attributed to the erroneous component of SDS. Our analysis demonstrates the competence of DDS for text based image-to-image translation. We further show that DDS can be used to train an effective zero-shot image translation model. Experimental results indicate that DDS outperforms existing methods in terms of stability and quality, highlighting its potential for real-world applications in text-based image editing.
• Abstract（参考訳）: 対象プロンプトで記述されたコンテンツに対して、入力画像の最小限の変更を導くテキストベースの画像編集のための新しいスコア関数であるdelta denoising score(dds)を導入する。 ddsは、テキストから画像への拡散モデルの豊かな生成前処理を活用し、テキストによって指示された所望の方向に向けて画像を制御するための最適化問題において、損失項として使用できる。 DDSは画像編集のためにScore Distillation Sampling (SDS) 機構を使用している。 本研究では,SDSのみを用いることで,ノイズ勾配による非詳細でぼやけた出力がしばしば発生することを示す。 この問題に対処するために、DDSは入力画像と一致するプロンプトを使用して、SDSの望ましくない誤った方向を特定し、削除する。 我々のキーとなる前提は、SDSは一致したプロンプトと画像のペアで計算されたときにゼロであるべきであり、スコアがゼロでない場合、その勾配はSDSの誤った成分に帰せられるということである。 本分析は,テキストによる画像から画像への変換におけるDDSの能力を示す。 さらに,実効的なゼロショット画像翻訳モデルの訓練にDDSを使用できることを示す。 実験の結果,DDSは既存の手法よりも安定性と品質が優れており,テキストベースの画像編集における現実的な応用の可能性を強調している。

関連論文リスト

• Semantic Score Distillation Sampling for Compositional Text-to-3D Generation [28.88237230872795]
  テキスト記述から高品質な3Dアセットを生成することは、コンピュータグラフィックスと視覚研究において重要な課題である。 本稿では,合成テキストから3D生成までの表現性と精度の向上を目的とした新しいSDS手法を提案する。 我々のアプローチは、異なるレンダリングビュー間の一貫性を維持する新しいセマンティック埋め込みを統合する。 明示的な意味指導を活用することで,既存の事前学習拡散モデルの構成能力を解き放つ。
  論文  参考訳（メタデータ） (2024-10-11T17:26:00Z)
• Rethinking Score Distillation as a Bridge Between Image Distributions [97.27476302077545]
  提案手法は, 劣化した画像(ソース)を自然画像分布(ターゲット)に転送することを目的としている。 本手法は,複数の領域にまたがって容易に適用可能であり,特殊な手法の性能のマッチングや評価を行うことができる。 テキストから2D、テキストベースのNeRF最適化、絵画を実画像に変換すること、光学錯視生成、および3Dスケッチから実画像に変換することにおいて、その実用性を実証する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:58Z)
• InstructHumans: Editing Animated 3D Human Textures with Instructions [40.012406098563204]
  InstructHumansは命令駆動型ヒューマンテクスチャ編集のための新しいフレームワークである。 InstructHumansは既存の3D編集方法よりも優れており、初期アバターと一致している。
  論文  参考訳（メタデータ） (2024-04-05T11:45:03Z)
• Score Distillation Sampling with Learned Manifold Corrective [36.963929141091455]
  損失を異なる要因に分解し,ノイズ勾配の原因となる成分を分離する。 オリジナルの定式化では、ノイズを考慮に入れた高いテキストガイダンスが使用され、過飽和や繰り返し詳細といった不要な副作用が生じる。 我々は,画像拡散モデルの時間依存性周波数バイアスを模倣した浅層ネットワークを訓練し,これを効果的に導出する。
  論文  参考訳（メタデータ） (2024-01-10T17:51:46Z)
• MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image Translation by Prompts Redescription and Beyond [57.14128305383768]
  拡散モデル(MirrorDiffusion)における音源と再構成画像のミラー効果を実現するための素早い再記述手法を提案する。 MirrorDiffusionはゼロショット画像変換ベンチマークの最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-01-06T14:12:16Z)
• Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
  潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。 提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
  論文  参考訳（メタデータ） (2023-11-30T15:06:10Z)
• Noise-Free Score Distillation [78.79226724549456]
  ノイズフリースコア蒸留(NFSD)プロセスは、オリジナルのSDSフレームワークに最小限の変更を必要とする。 我々は,CFG尺度を用いて,事前学習したテキスト・画像拡散モデルのより効果的な蒸留を行う。
  論文  参考訳（メタデータ） (2023-10-26T17:12:26Z)
• SDEdit: Image Synthesis and Editing with Stochastic Differential Equations [113.35735935347465]
  微分方程式を用いた最近の生成モデルに基づく微分編集(SDEdit)を導入する。 ユーザが編集した入力画像が与えられたら、まずSDEに従って入力にノイズを付加し、その後、逆SDEをシミュレートして、その確率を前より徐々に増加させます。 GANインバージョンに基づく最近の画像編集手法において重要な要素であるタスク固有損失関数の設計は不要である。
  論文  参考訳（メタデータ） (2021-08-02T17:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。