論文の概要: On the Collapse Errors Induced by the Deterministic Sampler for Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.16154v1
• Date: Fri, 22 Aug 2025 07:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.289904
• Title: On the Collapse Errors Induced by the Deterministic Sampler for Diffusion Models
• Title（参考訳）: 拡散モデルにおける決定論的サンプリングによる崩壊誤差について
• Authors: Yi Zhang, Zhenyu Liao, Jingfeng Wu, Difan Zou,
• Abstract要約: 崩壊誤差は、ODEベースの拡散サンプリングにおいて、これまで認識されていなかった現象である。 我々は,低騒音条件下でのスコア学習が高騒音条件下でのスコア学習に悪影響を及ぼすようなシーソー効果を観察する。 この高雑音状態における不適合性は、決定論的サンプリング器の力学と相まって、最終的に崩壊エラーを引き起こす。
• 参考スコア（独自算出の注目度）: 38.99546114710447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the widespread adoption of deterministic samplers in diffusion models (DMs), their potential limitations remain largely unexplored. In this paper, we identify collapse errors, a previously unrecognized phenomenon in ODE-based diffusion sampling, where the sampled data is overly concentrated in local data space. To quantify this effect, we introduce a novel metric and demonstrate that collapse errors occur across a variety of settings. When investigating its underlying causes, we observe a see-saw effect, where score learning in low noise regimes adversely impacts the one in high noise regimes. This misfitting in high noise regimes, coupled with the dynamics of deterministic samplers, ultimately causes collapse errors. Guided by these insights, we apply existing techniques from sampling, training, and architecture to empirically support our explanation of collapse errors. This work provides intensive empirical evidence of collapse errors in ODE-based diffusion sampling, emphasizing the need for further research into the interplay between score learning and deterministic sampling, an overlooked yet fundamental aspect of diffusion models.
• Abstract（参考訳）: 拡散モデル (DM) において決定論的サンプリングが広く採用されているにもかかわらず、その潜在的な限界はほとんど未解明のままである。 本稿では,これまで認識されていなかったODE拡散サンプリング現象である崩壊誤差を同定し,サンプルデータを局所データ空間に過度に集中させる手法を提案する。 この効果を定量化するために、新しい計量法を導入し、様々な設定で崩壊エラーが発生することを実証する。 その結果,低騒音条件下でのスコア学習は,高騒音条件下でのスコア学習に悪影響を及ぼすことがわかった。 この高雑音状態における不適合性は、決定論的サンプリング器の力学と相まって、最終的に崩壊エラーを引き起こす。 これらの知見に導かれて、サンプリング、トレーニング、アーキテクチャといった既存のテクニックを適用して、崩壊エラーの説明を実証的に支援します。 この研究は、ODEベースの拡散サンプリングにおける崩壊誤差の深い実証的証拠を提供し、スコアラーニングと決定論的サンプリングの相互作用に関するさらなる研究の必要性を強調し、拡散モデルの見過ごされながら基本的な側面である。

関連論文リスト

• Score-based diffusion models for diffuse optical tomography with uncertainty quantification [0.8443238959374133]
  本稿では,学習とモデルベースコンポーネントからなる混合スコアを構成することで,スコア関数の過度な適合を防止する新しい正規化手法を提案する。 実験により、データ駆動の事前分布は、古典的モデルに基づく推定と比較して、低分散の後方サンプルをもたらすことが示された。
  論文  参考訳（メタデータ） (2026-02-03T12:14:07Z)
• Provable Maximum Entropy Manifold Exploration via Diffusion Models [58.89696361871563]
  探索は科学的な発見のような現実世界の意思決定問題を解決するために重要である。 本稿では,事前学習した拡散モデルにより暗黙的に定義された近似データ多様体に対して,探索をエントロピーとしてキャストする新しいフレームワークを提案する。 本研究では,事前学習した拡散モデルの逐次微調整として探索問題を解くミラー降下に基づくアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2025-06-18T11:59:15Z)
• Diffusion models under low-noise regime [3.729242965449096]
  拡散モデルは, 汚損レベルが小さい場合に有効であることを示す。 トレーニングセットのサイズ,データ幾何,および客観選択形状のモデル化方法の定量化を行う。 この研究は、実用的なアプリケーションにおける生成モデルの信頼性に対する理解のギャップに対処し始めます。
  論文  参考訳（メタデータ） (2025-06-09T15:07:16Z)
• Generalized Diffusion Model with Adjusted Offset Noise [1.7767466724342067]
  本稿では,厳密な確率的枠組みの中で自然に付加的な雑音を取り入れた一般化拡散モデルを提案する。 我々は、ある調整でノイズを相殺する理論的等価性を確立し、証拠の低い境界に基づいて損失関数を導出する。 合成データセットの実験により、我々のモデルは輝度に関する課題に効果的に対処し、高次元シナリオにおいて従来の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-04T08:57:03Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Diffusion-C: Unveiling the Generative Challenges of Diffusion Models through Corrupted Data [2.7624021966289605]
  拡散-Cは拡散モデルの生成的制約を分析するための基礎的方法論である。 Diffusion分類の下では、生成モデルの微調整の中で、DDPMはパラゴンとして現れ、常に優れたパフォーマンス指標を示す。 これらの特定の腐敗に対する拡散モデルの脆弱性は、位相的および統計的類似性に大きく影響されている。
  論文  参考訳（メタデータ） (2023-12-14T12:01:51Z)
• Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models [72.07462371883501]
  本研究では,非意味情報のバイアスを緩和する効率的な新規性検出手法であるemphProjection Regret(PR)を提案する。 PRは、テスト画像とその拡散ベースの投影の間の知覚距離を計算し、異常を検出する。 拡張実験により、PRは生成モデルに基づく新規性検出手法の先行技術よりも有意なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-05T09:44:47Z)
• Elucidating the Exposure Bias in Diffusion Models [7.529885833916501]
  拡散モデルにおけるトレーニングとサンプリングの入力ミスマッチについて検討する。 露光バイアスを軽減するために,エプシロンスケーリング(Epsilon Scaling)と呼ばれるトレーニング不要の手法を提案する。 エプシロンスケーリングは、トレーニングフェーズで学習したベクトル場に近いサンプリング軌道を明示的に移動させる。
  論文  参考訳（メタデータ） (2023-08-29T14:16:09Z)
• On Error Propagation of Diffusion Models [77.91480554418048]
  DMのアーキテクチャにおける誤り伝播を数学的に定式化するための理論的枠組みを開発する。 累積誤差を正規化項として適用して誤差伝搬を低減する。 提案した正規化はエラーの伝播を低減し,バニラDMを大幅に改善し,以前のベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-09T15:31:17Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。