論文の概要: Demystifying Diffusion Objectives: Reweighted Losses are Better Variational Bounds
- arxiv url: http://arxiv.org/abs/2511.19664v1
- Date: Mon, 24 Nov 2025 19:58:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.143949
- Title: Demystifying Diffusion Objectives: Reweighted Losses are Better Variational Bounds
- Title（参考訳）: 拡散目的のデミスティフィケーション:リウェイトされた損失はより良い変分境界である
- Authors: Jiaxin Shi, Michalis K. Titsias,
- Abstract要約: 拡散モデルの訓練に広く用いられている再重み付き損失の新たな理論的解釈を導出する。
本手法は,データログに時間依存的な変動的下界のカスケードを構築することに基づく。
本稿では、連続拡散モデルに匹敵するサンプル品質にアプローチし、画素空間画像モデリングにおける以前のトレーニング損失よりも大幅に改善したことを報告する。
- 参考スコア（独自算出の注目度）: 23.425710086428413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We derive a new theoretical interpretation of the reweighted losses that are widely used for training diffusion models. Our method is based on constructing a cascade of time-dependent variational lower bounds on the data log-likelihood, that provably improves upon the standard evidence lower bound and results in reduced data-model KL-divergences. Combining such bounds gives rise to reweighted objectives that can be applied to any generative diffusion model including both continuous Gaussian diffusion and masked (discrete) diffusion models. Then, we showcase this framework in masked diffusion and report significant improvements over previous training losses in pixel-space image modeling, approaching sample quality comparable to continuous diffusion models. Our results also provide a theoretical justification for the simple weighting scheme widely used in masked image models.
- Abstract（参考訳）: 拡散モデルの訓練に広く用いられている再重み付き損失の新たな理論的解釈を導出する。
提案手法は, 標準エビデンスを低バウンダリで改善し, データモデルKL-ディバージェンスを低減したデータログに, 時間依存性の変動的低バウンダリのカスケードを構築することに基づく。
そのような境界を組み合わせることで、連続ガウス拡散とマスク付き(離散)拡散モデルを含む任意の生成拡散モデルに適用可能な重み付けされた目的が生まれる。
次に,この枠組みをマスク拡散モデルで示すとともに,連続拡散モデルに匹敵するサンプル品質にアプローチして,画素空間画像モデリングにおける以前のトレーニング損失よりも大幅に改善したことを報告する。
また,マスク画像モデルに広く用いられている単純な重み付け方式の理論的正当性も提供する。
関連論文リスト
- Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Models [22.39558434131574]
拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。
拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。
本研究では,予測分布と属性スコアとの直接比較を行うために拡散属性スコア(textitDAS)を提案する。
論文 参考訳（メタデータ） (2024-10-24T10:58:17Z) - Lossy Image Compression with Foundation Diffusion Models [10.407650300093923]
本研究は,拡散を用いた量子化誤差の除去をデノナイジングタスクとして定式化し,送信された遅延画像の損失情報を復元する。
当社のアプローチでは,完全な拡散生成プロセスの10%未満の実行が可能であり,拡散モデルにアーキテクチャ的な変更は不要である。
論文 参考訳（メタデータ） (2024-04-12T16:23:42Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳（メタデータ） (2023-08-28T08:47:06Z) - On Error Propagation of Diffusion Models [77.91480554418048]
DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。
累積誤差を正規化項として適用して誤差伝搬を低減する。
提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
論文 参考訳（メタデータ） (2023-08-09T15:31:17Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳（メタデータ） (2023-05-22T12:18:20Z) - Information-Theoretic Diffusion [18.356162596599436]
拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。
情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
論文 参考訳（メタデータ） (2023-02-07T23:03:07Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。