論文の概要: Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access
- arxiv url: http://arxiv.org/abs/2505.18344v5
- Date: Sat, 04 Oct 2025 02:28:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 14:28:09.88661
- Title: Improved Sample Complexity For Diffusion Model Training Without Empirical Risk Minimizer Access
- Title（参考訳）: 経験的リスク最小化器アクセスを伴わない拡散モデル学習におけるサンプル複雑度の改善
- Authors: Mudit Gaur, Prashant Trivedi, Sasidhar Kunapuli, Amrit Singh Bedi, Vaneet Aggarwal,
- Abstract要約: 拡散モデルを解析し、$widetildemathcalO(epsilon-4)$に束縛された最先端のサンプル複雑性を提供する。
スコア推定誤差の統計的および最適化成分への構造化分解は、拡散モデルを効率的に訓練する方法に関する重要な洞察を与える。
- 参考スコア（独自算出の注目度）: 47.96419637803502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have demonstrated remarkable performance in generating high-dimensional samples across domains such as vision, language, and the sciences. Although continuous-state diffusion models have been extensively studied both empirically and theoretically, discrete-state diffusion models, essential for applications involving text, sequences, and combinatorial structures, they remain significantly less understood from a theoretical standpoint. In particular, all existing analyses of discrete-state models assume access to an empirical risk minimizer. In this work, we present a principled theoretical framework analyzing diffusion models, providing a state-of-the-art sample complexity bound of $\widetilde{\mathcal{O}}(\epsilon^{-4})$. Our structured decomposition of the score estimation error into statistical and optimization components offers critical insights into how diffusion models can be trained efficiently. This analysis addresses a fundamental gap in the literature and establishes the theoretical tractability and practical relevance of diffusion models.
- Abstract（参考訳）: 拡散モデルは、視覚、言語、科学などの領域にまたがる高次元サンプルを生成する際、顕著な性能を示した。
連続状態拡散モデルは、経験的および理論的に、テキスト、シーケンス、組合せ構造を含む応用に不可欠な離散状態拡散モデルの両方で広く研究されているが、理論的な観点からはかなり理解されていない。
特に、離散状態モデルの既存の分析は、経験的リスク最小化器へのアクセスを前提としている。
本研究では,拡散モデル解析の原理的な理論的枠組みを提示し,現在最先端のサンプル複雑性を$\widetilde{\mathcal{O}}(\epsilon^{-4})$とする。
スコア推定誤差の統計的および最適化成分への構造化分解は、拡散モデルを効率的に訓練する方法に関する重要な洞察を与える。
この分析は、文献の基本的なギャップに対処し、拡散モデルの理論的トラクタビリティと実践的妥当性を確立する。
関連論文リスト
- Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
予測型因果推論(PPCI)に焦点をあてる
PPCIは、未ラベルの事実結果を用いた対象実験における治療効果を推定し、事前訓練されたモデルからゼロショットを取得する。
バニラ実験的リスク最小化によって解決不可能なインスタンスに対するソリューションを提供するため,本手法を合成および実世界の科学的データに対して検証する。
論文 参考訳（メタデータ） (2025-02-10T10:52:17Z) - Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。
パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。
本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
論文 参考訳（メタデータ） (2025-02-01T18:09:49Z) - Learning with Shared Representations: Statistical Rates and Efficient Algorithms [13.643155483461028]
潜在共有表現による協調学習により、異種クライアントは、サンプルサイズを減らしながら、パフォーマンスを向上したパーソナライズされたモデルをトレーニングできる。
経験的成功と広範な研究にもかかわらず、統計誤差率の理論的理解は、低次元線型部分空間に制約された共有表現でさえも不完全である。
論文 参考訳（メタデータ） (2024-09-07T21:53:01Z) - Sample Complexity Bounds for Score-Matching: Causal Discovery and
Generative Modeling [82.36856860383291]
我々は,標準深部ReLUニューラルネットワークをトレーニングすることにより,スコア関数の正確な推定が可能であることを実証した。
スコアマッチングに基づく因果発見手法を用いて因果関係の回復の誤差率の限界を確立する。
論文 参考訳（メタデータ） (2023-10-27T13:09:56Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Learning with Gradient Descent and Weakly Convex Losses [14.145079120746614]
本研究では,経験的リスクが弱い場合の勾配降下の学習性能について検討する。
2層ニューラルネットワークの場合、実験的なリスクは局所的な弱凸性の概念を満たすことができることを示す。
論文 参考訳（メタデータ） (2021-01-13T09:58:06Z) - Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。
重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。
教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
論文 参考訳（メタデータ） (2020-12-14T10:36:06Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Statistical Agnostic Mapping: a Framework in Neuroimaging based on
Concentration Inequalities [0.0]
ボクセルやマルチボクセルレベルでの統計アグノスティック(非パラメトリック)マッピングを導出する。
集中不平等に基づくニューロイメージングの新しい枠組みを提案する。
論文 参考訳（メタデータ） (2019-12-27T18:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。