論文の概要: On the Collapse Errors Induced by the Deterministic Sampler for Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.16154v1
• Date: Fri, 22 Aug 2025 07:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.289904
• Title: On the Collapse Errors Induced by the Deterministic Sampler for Diffusion Models
• Title（参考訳）: 拡散モデルにおける決定論的サンプリングによる崩壊誤差について
• Authors: Yi Zhang, Zhenyu Liao, Jingfeng Wu, Difan Zou,
• Abstract要約: 崩壊誤差は、ODEベースの拡散サンプリングにおいて、これまで認識されていなかった現象である。 我々は,低騒音条件下でのスコア学習が高騒音条件下でのスコア学習に悪影響を及ぼすようなシーソー効果を観察する。 この高雑音状態における不適合性は、決定論的サンプリング器の力学と相まって、最終的に崩壊エラーを引き起こす。
• 参考スコア（独自算出の注目度）: 38.99546114710447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the widespread adoption of deterministic samplers in diffusion models (DMs), their potential limitations remain largely unexplored. In this paper, we identify collapse errors, a previously unrecognized phenomenon in ODE-based diffusion sampling, where the sampled data is overly concentrated in local data space. To quantify this effect, we introduce a novel metric and demonstrate that collapse errors occur across a variety of settings. When investigating its underlying causes, we observe a see-saw effect, where score learning in low noise regimes adversely impacts the one in high noise regimes. This misfitting in high noise regimes, coupled with the dynamics of deterministic samplers, ultimately causes collapse errors. Guided by these insights, we apply existing techniques from sampling, training, and architecture to empirically support our explanation of collapse errors. This work provides intensive empirical evidence of collapse errors in ODE-based diffusion sampling, emphasizing the need for further research into the interplay between score learning and deterministic sampling, an overlooked yet fundamental aspect of diffusion models.
• Abstract（参考訳）: 拡散モデル (DM) において決定論的サンプリングが広く採用されているにもかかわらず、その潜在的な限界はほとんど未解明のままである。 本稿では,これまで認識されていなかったODE拡散サンプリング現象である崩壊誤差を同定し,サンプルデータを局所データ空間に過度に集中させる手法を提案する。 この効果を定量化するために、新しい計量法を導入し、様々な設定で崩壊エラーが発生することを実証する。 その結果,低騒音条件下でのスコア学習は,高騒音条件下でのスコア学習に悪影響を及ぼすことがわかった。 この高雑音状態における不適合性は、決定論的サンプリング器の力学と相まって、最終的に崩壊エラーを引き起こす。 これらの知見に導かれて、サンプリング、トレーニング、アーキテクチャといった既存のテクニックを適用して、崩壊エラーの説明を実証的に支援します。 この研究は、ODEベースの拡散サンプリングにおける崩壊誤差の深い実証的証拠を提供し、スコアラーニングと決定論的サンプリングの相互作用に関するさらなる研究の必要性を強調し、拡散モデルの見過ごされながら基本的な側面である。

関連論文リスト

• Diffusion models under low-noise regime [3.729242965449096]
  拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。 トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。 この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
  論文  参考訳（メタデータ） (2025-06-09T15:07:16Z)
• Generalized Diffusion Model with Adjusted Offset Noise [1.7767466724342067]
  本稿では,厳密な確率的枠組みの中で自然に付加的な雑音を取り入れた一般化拡散モデルを提案する。 我々は、ある調整でノイズを相殺する理論的等価性を確立し、証拠の低い境界に基づいて損失関数を導出する。 合成データセットの実験により、我々のモデルは輝度に関する課題に効果的に対処し、高次元シナリオにおいて従来の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-04T08:57:03Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Elucidating the Exposure Bias in Diffusion Models [7.529885833916501]
  拡散モデルにおけるトレーニングとサンプリングの入力ミスマッチについて検討する。 露光バイアスを軽減するために,エプシロンスケーリング(Epsilon Scaling)と呼ばれるトレーニング不要の手法を提案する。 エプシロンスケーリングは、トレーニングフェーズで学習したベクトル場に近いサンプリング軌道を明示的に移動させる。
  論文  参考訳（メタデータ） (2023-08-29T14:16:09Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。