論文の概要: Score Distillation Sampling with Learned Manifold Corrective
- arxiv url: http://arxiv.org/abs/2401.05293v1
- Date: Wed, 10 Jan 2024 17:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-11 14:08:32.168180
- Title: Score Distillation Sampling with Learned Manifold Corrective
- Title(参考訳): 学習多様体補正によるスコア蒸留サンプリング
- Authors: Thiemo Alldieck, Nikos Kolotouros, Cristian Sminchisescu
- Abstract要約: 本稿では、スコア蒸留サンプリング(SDS)損失関数の詳細な解析を行い、その定式化による固有の問題を特定し、驚くほど簡単だが効果的な修正を提案する。
損失を異なる要因に分解し,ノイズ勾配の原因となる成分を分離する。
元の定式化では、ノイズを考慮に入れ、不要な副作用を引き起こすため、画像拡散モデルの時間依存性の劣化を模倣した浅いネットワークを訓練し、効果的に分解する。
- 参考スコア(独自算出の注目度): 41.54375201921829
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score Distillation Sampling (SDS) is a recent but already widely popular
method that relies on an image diffusion model to control optimization problems
using text prompts. In this paper, we conduct an in-depth analysis of the SDS
loss function, identify an inherent problem with its formulation, and propose a
surprisingly easy but effective fix. Specifically, we decompose the loss into
different factors and isolate the component responsible for noisy gradients. In
the original formulation, high text guidance is used to account for the noise,
leading to unwanted side effects. Instead, we train a shallow network mimicking
the timestep-dependent denoising deficiency of the image diffusion model in
order to effectively factor it out. We demonstrate the versatility and the
effectiveness of our novel loss formulation through several qualitative and
quantitative experiments, including optimization-based image synthesis and
editing, zero-shot image translation network training, and text-to-3D
synthesis.
- Abstract(参考訳): スコア蒸留サンプリング(英: score distillation sampling, sds)は、画像拡散モデルを用いてテキストプロンプトを用いた最適化問題を制御する手法である。
本稿では,sds損失関数の詳細な解析を行い,その定式化に固有の問題を特定し,驚くほど簡単だが効果的な修正を提案する。
具体的には,損失を異なる要因に分解し,ノイズ勾配の原因成分を分離する。
オリジナルの定式化では、ノイズを考慮に入れるために高いテキストガイダンスが使用され、望ましくない副作用が生じる。
代わりに,画像拡散モデルの時間ステップ依存分別欠損を模倣した浅層ネットワークを学習し,それを効果的に分解する。
本稿では,最適化に基づく画像合成と編集,ゼロショット画像翻訳ネットワークトレーニング,テキストから3d合成など,数種類の質的定量的実験を通じて,新たな損失定式化の有用性と有効性を示す。
関連論文リスト
- Diffusion Posterior Proximal Sampling for Image Restoration [28.388405376136095]
拡散に基づく画像復元アルゴリズムは、事前訓練された拡散モデルを利用してデータ事前を利用する。
これらの戦略は、純白色雑音による雑音発生プロセスを開始し、各生成段階にランダムノイズを取り入れ、過度に滑らかな結果をもたらす。
本稿では拡散に基づく画像復元のための洗練されたパラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-25T04:24:28Z) - Contrastive Denoising Score for Text-guided Latent Diffusion Image
Editing [63.89492742059184]
本稿では,LDM(Latent Image-to-image Translation Model)に対するCDS(Contrastive Denoising Score)の変更について述べる。
具体的には,フレームワーク内のCUT損失を用いて構造的整合性を制御するための簡単なアプローチを提案する。
提案手法は,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集を可能にする。
論文 参考訳(メタデータ) (2023-11-30T15:06:10Z) - Noise-Free Score Distillation [78.79226724549456]
ノイズフリースコア蒸留(NFSD)プロセスは、オリジナルのSDSフレームワークに最小限の変更を必要とする。
我々は,CFG尺度を用いて,事前学習したテキスト・画像拡散モデルのより効果的な蒸留を行う。
論文 参考訳(メタデータ) (2023-10-26T17:12:26Z) - DreamTime: An Improved Optimization Strategy for Text-to-3D Content
Creation [73.532433328835]
何十億もの画像テキスト対に事前トレーニングされたテキスト対拡散モデルにより, ランダムニューラルネットワーク場 (NeRF) とスコア蒸留を最適化し, テキスト対3次元コンテンツ作成が可能となった。
しかし, 得られた3Dモデルでは, (a) 飽和色やヤヌス問題などの品質上の懸念, (b) テキスト誘導画像合成と比較して非常に低い多様性を示す。
本稿では,NeRF最適化プロセスとスコア蒸留における一様時間ステップサンプリングの矛盾が,これらの制限の主な原因であることを示す。
論文 参考訳(メタデータ) (2023-06-21T17:59:45Z) - Training-free Diffusion Model Adaptation for Variable-Sized
Text-to-Image Synthesis [45.19847146506007]
拡散モデル(DM)は近年,テキスト・画像合成における最先端性能に注目されている。
本稿では,視覚的忠実度を維持しながら多彩性を扱うためにテキスト・画像拡散モデルを適用することに焦点を当てる。
論文 参考訳(メタデータ) (2023-06-14T17:23:07Z) - Few-Shot Adaptation of Generative Adversarial Networks [54.014885321880755]
本稿では,100枚未満の設定でGANを適応するための簡易かつ効果的なFew-Shot GANを提案する。
FSGANは、対応する特異ベクトルを凍結しながら、事前訓練された重みの特異値に適応することを学ぶ。
提案手法は,既存のGAN適応法と比較して,視覚的品質が著しく向上していることを示す。
論文 参考訳(メタデータ) (2020-10-22T17:59:29Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳(メタデータ) (2020-05-12T09:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。