論文の概要: From Score Learning to Discretized Sampling: An End-to-End Generalization Analysis of Diffusion Models
- arxiv url: http://arxiv.org/abs/2607.23226v1
- Date: Sat, 25 Jul 2026 14:24:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.03377
- Title: From Score Learning to Discretized Sampling: An End-to-End Generalization Analysis of Diffusion Models
- Title(参考訳): スコアラーニングから離散サンプリングへ:拡散モデルのエンドツーエンド一般化分析
- Abstract要約: 本研究では,有限サンプル学習,ネットワークパラメータ化,数値離散化が共同で生成品質を規定する方法について検討する。
実験結果から, 実験試料の大きさ, 時間的離散化格子, 最適化精度が, 拡散モデルにより生成された試料の最終忠実度をどのように制御するかを定量的に評価した。
- 参考スコア(独自算出の注目度): 1.7041248235270654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the empirical success of score-based diffusion models, a complete theoretical understanding of how finite-sample learning, network parameterization, and numerical discretization jointly dictate generative quality remains underdeveloped. Existing sampling analyses often evaluate the generative performance conditional on an oracle score or a pre-specified error threshold. In this work, we establish a unified convergence and generalization framework for score-based diffusion models parameterized by practical ResNet-type architectures. We analyze the generalization and convergence properties from the practical finite-sample, discrete-time learning problem of the score function to the ideal continuous-time, population-level objective. Based on the generalization result of the learning problem of score function, we analyze the sampling process induced by the learned score function and provide an end-to-end total variation distance estimate for the generated terminal distribution. This estimate explicitly decomposes the overall generative error into four interpretable components: the truncation error of the forward process, the reverse-time discretization error, the generalization error incorporating both finite data and forward-time discretization, and the training optimization gap. Our results quantitatively characterize how the training sample size, temporal discretization grids, and optimization accuracy jointly control the final fidelity of samples generated by diffusion models.
- Abstract(参考訳): スコアベース拡散モデルの実証的な成功にもかかわらず、有限サンプル学習、ネットワークパラメータ化、数値離散化が共に生成品質を規定する方法についての完全な理論的理解はまだ未熟である。
既存のサンプリング分析は、オラクルスコアや予め特定されたエラー閾値に基づいて、生成性能条件を評価することが多い。
本研究では,実践的なResNet型アーキテクチャによってパラメータ化されたスコアベース拡散モデルに対する統合収束と一般化の枠組みを確立する。
本研究では, スコア関数の有限サンプル離散時間学習問題から, 理想的な連続時間, 集団レベルの目的へと一般化と収束特性を解析する。
スコア関数の学習問題の一般化結果に基づいて、学習したスコア関数によって誘導されるサンプリングプロセスを分析し、生成した端末分布に対するエンドツーエンドの総変動距離推定を行う。
この推定は、全生成誤差を、フォワードプロセスのトランケーション誤差、リバースタイムの離散化誤差、有限データとフォワードタイムの離散化の両方を組み込んだ一般化誤差、トレーニング最適化ギャップの4つの解釈可能なコンポーネントに明示的に分解する。
実験結果から, 実験試料の大きさ, 時間的離散化格子, 最適化精度が, 拡散モデルにより生成された試料の最終忠実度をどのように制御するかを定量的に評価した。
関連論文リスト
- Biased Generalization in Diffusion Models [4.602851365305176]
生成モデリングの一般化は、有限データセットから基礎となる分布を学習し、新しいサンプルを生成する能力として定義される。
実際には、テスト損失の最小限でトレーニングが停止されることがしばしばあり、一般化の運用上の指標として捉えられる。
トレーニングデータに不規則に近接するサンプルを選好しながら、モデルがテスト損失を減らし続け、トレーニング中のバイアス付き一般化のフェーズを特定することで、この視点に挑戦する。
論文 参考訳(メタデータ) (2026-03-03T19:25:33Z) - Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳(メタデータ) (2025-12-01T05:14:25Z) - Dimension-free Score Matching and Time Bootstrapping for Diffusion Models [19.62665684173391]
拡散モデルは、様々な雑音レベルにおける対象分布のスコア関数を推定してサンプルを生成する。
本稿では,マーチンゲールに基づく誤り分解とシャープな分散境界を導入し,従属データから効率的な学習を可能にする。
これらの知見に基づいて,より高い雑音レベルにおいて精度を向上させるために,事前学習したスコアを活用する分散低減手法であるBootstrapped Score Matching (BSM)を提案する。
論文 参考訳(メタデータ) (2025-02-14T18:32:22Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳(メタデータ) (2024-10-17T16:42:12Z) - Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳(メタデータ) (2024-10-03T09:07:13Z) - High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
我々は高次元リッジ規則化ロジスティック回帰について検討する。
予測誤差と推定誤差の両方を正確に評価する。
論文 参考訳(メタデータ) (2024-10-01T21:41:21Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳(メタデータ) (2023-11-10T08:50:28Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - Studying Generalization Through Data Averaging [0.0]
本研究では,異なるデータセットのサンプルに対する差の平均から得られる一般化ギャップと,列車および試験性能について検討する。
我々はSGDノイズの関数として一般化ギャップとモデルトレインとテスト性能の相違についていくつかの側面を予測した。
論文 参考訳(メタデータ) (2022-06-28T00:03:40Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Generalization Error for Linear Regression under Distributed Learning [0.0]
未知のノードがノードネットワーク上に分散されている設定について検討する。
本稿では,ノード上の未知のノードの分割に対する一般化誤差の依存性の解析的特徴について述べる。
論文 参考訳(メタデータ) (2020-04-30T08:49:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。