論文の概要: Rethinking Score Distillation as a Bridge Between Image Distributions
- arxiv url: http://arxiv.org/abs/2406.09417v2
- Date: Tue, 10 Dec 2024 19:55:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 13:59:33.873513
- Title: Rethinking Score Distillation as a Bridge Between Image Distributions
- Title（参考訳）: イメージ分布の橋渡しとしてのスコア蒸留の再考
- Authors: David McAllister, Songwei Ge, Jia-Bin Huang, David W. Jacobs, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa,
- Abstract要約: 提案手法は, 劣化した画像(ソース)を自然画像分布(ターゲット)に転送することを目的としている。
本手法は,複数の領域にまたがって容易に適用可能であり,特殊な手法の性能のマッチングや評価を行うことができる。
テキストから2D、テキストベースのNeRF最適化、絵画を実画像に変換すること、光学錯視生成、および3Dスケッチから実画像に変換することにおいて、その実用性を実証する。
- 参考スコア（独自算出の注目度）: 97.27476302077545
- License:
- Abstract: Score distillation sampling (SDS) has proven to be an important tool, enabling the use of large-scale diffusion priors for tasks operating in data-poor domains. Unfortunately, SDS has a number of characteristic artifacts that limit its usefulness in general-purpose applications. In this paper, we make progress toward understanding the behavior of SDS and its variants by viewing them as solving an optimal-cost transport path from a source distribution to a target distribution. Under this new interpretation, these methods seek to transport corrupted images (source) to the natural image distribution (target). We argue that current methods' characteristic artifacts are caused by (1) linear approximation of the optimal path and (2) poor estimates of the source distribution. We show that calibrating the text conditioning of the source distribution can produce high-quality generation and translation results with little extra overhead. Our method can be easily applied across many domains, matching or beating the performance of specialized methods. We demonstrate its utility in text-to-2D, text-based NeRF optimization, translating paintings to real images, optical illusion generation, and 3D sketch-to-real. We compare our method to existing approaches for score distillation sampling and show that it can produce high-frequency details with realistic colors.
- Abstract（参考訳）: スコア蒸留サンプリング(SDS)は重要なツールとして証明されており、データ・プール領域で動作するタスクに大規模な拡散先行処理を使用することが可能である。
残念なことに、SDSは汎用アプリケーションにおいてその有用性を制限する多くの特徴的アーティファクトを持っている。
本稿では、ソース分布からターゲット分布への最適コスト輸送経路を解くものとして、SDSとその変種について理解を深める。
この新たな解釈の下で、これらの手法は、破損した画像(ソース)を自然画像分布(ターゲット)に転送する。
提案手法の特徴は,(1)最適経路の線形近似と(2)音源分布の貧弱な推定によって引き起こされていると論じる。
ソース分布のテキストコンディショニングを校正することで,オーバーヘッドの少ない高品質な生成および翻訳結果が得られることを示す。
本手法は,複数の領域にまたがって容易に適用可能であり,特殊な手法の性能のマッチングや評価を行うことができる。
テキストから2D、テキストベースのNeRF最適化、絵画を実画像に変換すること、光学錯視生成、および3Dスケッチから実画像に変換することにおいて、その実用性を実証する。
本手法を既存の蒸留法と比較し,実色で高頻度の細部を生成可能であることを示す。
関連論文リスト
- A Diffusion Model Translator for Efficient Image-to-Image Translation [60.86381807306705]
本稿では,拡散モデルトランスレータ (DMT) と呼ばれる,軽量トランスレータを用いた拡散モデルを効率よく実装する手法を提案する。
我々は、画像スタイリング、画像のカラー化、画像へのセグメント化、画像へのスケッチなど、さまざまなI2Iアプリケーションに対するアプローチを評価し、その有効性と汎用性を検証した。
論文 参考訳（メタデータ） (2025-02-01T04:01:24Z) - Generalizable Origin Identification for Text-Guided Image-to-Image Diffusion Models [39.234894330025114]
テキストインプロンプトに基づく画像の翻訳において,テキスト誘導画像から画像への拡散モデルが優れている。
これは、テキスト誘導画像-画像拡散モデル(ID$2$)の原点識別タスクの導入を動機付けます。
ID$2$の直接的な解決策は、クエリと参照イメージの両方から機能を抽出し比較するために、特別なディープ埋め込みモデルをトレーニングすることである。
論文 参考訳（メタデータ） (2025-01-04T20:34:53Z) - Efficient Dataset Distillation via Diffusion-Driven Patch Selection for Improved Generalization [34.79567392368196]
本稿では, 既存の拡散式蒸留法に対する新しい枠組みを提案し, 生成ではなく拡散モデルを用いて選択する。
提案手法は,入力画像とテキストプロンプトに基づいて拡散モデルから発生するノイズを予測し,各ペアの損失を算出する。
この合理化フレームワークは単一段階の蒸留プロセスを実現するとともに,我々の手法が様々なメトリクスにわたって最先端の手法より優れていることを示す広範な実験を行った。
論文 参考訳（メタデータ） (2024-12-13T08:34:46Z) - DreamMapping: High-Fidelity Text-to-3D Generation via Variational Distribution Mapping [20.7584503748821]
SDS (Score Distillation Sampling) はテキストから3D生成の一般的な技術として登場し、テキストから2Dのガイダンスからビュー依存情報を蒸留することで3Dコンテンツ作成を可能にする。
我々は、SDSの徹底的な解析を行い、その定式化を洗練し、中心となる設計はレンダリングされた画像の分布をモデル化することである。
本稿では,分散に基づく生成の劣化事例として,画像の描画を考慮し,分散モデリングプロセスの迅速化を図る,変分分布マッピング (VDM) という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-08T14:04:48Z) - Text-to-Image Diffusion Models are Great Sketch-Photo Matchmakers [120.49126407479717]
本稿では,ゼロショットスケッチに基づく画像検索(ZS-SBIR)のためのテキスト・画像拡散モデルについて検討する。
スケッチと写真の間のギャップをシームレスに埋めるテキストと画像の拡散モデルの能力。
論文 参考訳（メタデータ） (2024-03-12T00:02:03Z) - Correcting Diffusion Generation through Resampling [32.93858075964824]
本研究では, 生成画像と接地画像の分布差を低減できる粒子フィルタリングフレームワークを提案する。
提案手法は, 画像生成タスクにおいて, 欠落したオブジェクトの誤りを効果的に補正し, 画質を向上させる。
論文 参考訳（メタデータ） (2023-12-10T23:35:13Z) - Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。
提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
論文 参考訳（メタデータ） (2023-11-30T15:06:10Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳（メタデータ） (2023-09-29T03:24:24Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Pixel-based Facial Expression Synthesis [1.7056768055368383]
本稿では,各出力画素が1つの入力画素のみを観測する,画素ベースの表情合成手法を提案する。
提案するモデルは2桁の規模で,リソース制約のあるデバイスへの展開に適している。
論文 参考訳（メタデータ） (2020-10-27T16:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。