論文の概要: Implicit Regularisation in Diffusion Models: An Algorithm-Dependent Generalisation Analysis

• arxiv url: http://arxiv.org/abs/2507.03756v1
• Date: Fri, 04 Jul 2025 18:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.863984
• Title: Implicit Regularisation in Diffusion Models: An Algorithm-Dependent Generalisation Analysis
• Title（参考訳）: 拡散モデルにおける帰納規則化:アルゴリズム依存の一般化解析
• Authors: Tyler Farghly, Patrick Rebeschini, George Deligiannidis, Arnaud Doucet,
• Abstract要約: 我々は高次元拡散モデルに対するアルゴリズム依存の一般化の理論を開発する。 スコア安定性の観点から一般化バウンダリを導出し,いくつかの基本的な学習環境に適用する。
• 参考スコア（独自算出の注目度）: 44.468416523840965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of denoising diffusion models raises important questions regarding their generalisation behaviour, particularly in high-dimensional settings. Notably, it has been shown that when training and sampling are performed perfectly, these models memorise training data -- implying that some form of regularisation is essential for generalisation. Existing theoretical analyses primarily rely on algorithm-independent techniques such as uniform convergence, heavily utilising model structure to obtain generalisation bounds. In this work, we instead leverage the algorithmic aspects that promote generalisation in diffusion models, developing a general theory of algorithm-dependent generalisation for this setting. Borrowing from the framework of algorithmic stability, we introduce the notion of score stability, which quantifies the sensitivity of score-matching algorithms to dataset perturbations. We derive generalisation bounds in terms of score stability, and apply our framework to several fundamental learning settings, identifying sources of regularisation. In particular, we consider denoising score matching with early stopping (denoising regularisation), sampler-wide coarse discretisation (sampler regularisation) and optimising with SGD (optimisation regularisation). By grounding our analysis in algorithmic properties rather than model structure, we identify multiple sources of implicit regularisation unique to diffusion models that have so far been overlooked in the literature.
• Abstract（参考訳）: 微分拡散モデルの成功は、特に高次元環境での一般化行動に関する重要な疑問を提起する。 特に、トレーニングとサンプリングが完璧に実行されるとき、これらのモデルはトレーニングデータを記憶している。 既存の理論解析は主に一様収束のようなアルゴリズムに依存しない手法に依存しており、一般化境界を得るためにモデル構造を大いに活用している。 そこで本研究では,拡散モデルにおける一般化を促進するアルゴリズム的側面を活用し,アルゴリズムに依存した一般化の一般理論を開発する。 アルゴリズム安定性の枠組みから、スコアマッチングアルゴリズムのデータセット摂動に対する感度を定量化するスコア安定性の概念を導入する。 我々は、スコア安定性の観点から一般化境界を導出し、我々のフレームワークをいくつかの基本的な学習環境に適用し、正規化の源を特定する。 特に,早期停止(正規化のデノベート),サンプルワイド粗い離散化(サンプラー正規化),SGD(最適化正規化)のオプティマイズについて検討した。 モデル構造よりもアルゴリズム特性の解析を基礎として、これまで文献で見過ごされてきた拡散モデルに特有の暗黙的な正規化の複数の源を同定する。

関連論文リスト

• Algorithm- and Data-Dependent Generalization Bounds for Score-Based Generative Models [27.78637798976204]
  スコアベース生成モデル(SGM)は、生成モデルの最も一般的なクラスの一つである。 本稿では,SGMのためのアルゴリズムおよびデータ依存分析法を提案する。 特に、学習アルゴリズムのダイナミクスを説明し、SGMの振る舞いに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-04T11:33:04Z)
• Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization [22.577751005038543]
  Federated Learning(FL)は、複数のデバイスで機械学習モデルをトレーニングする分散学習アプローチである。 FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のないローカルオプティマに繋がる。 本稿ではアルゴリズムに依存した過剰リスク最小化のための革新的な一般化ダイナミクス解析フレームワークLibraを紹介する。
  論文  参考訳（メタデータ） (2024-11-25T11:43:22Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters [1.4502611532302039]
  一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
  論文  参考訳（メタデータ） (2023-06-06T16:12:35Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Towards Data-Algorithm Dependent Generalization: a Case Study on Overparameterized Linear Regression [19.047997113063147]
  本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。 我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
  論文  参考訳（メタデータ） (2022-02-12T12:42:36Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。