論文の概要: Sample Complexity of Diffusion Model Training Without Empirical Risk Minimizer Access

• arxiv url: http://arxiv.org/abs/2505.18344v1
• Date: Fri, 23 May 2025 20:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.353695
• Title: Sample Complexity of Diffusion Model Training Without Empirical Risk Minimizer Access
• Title（参考訳）: 経験的リスク最小化器アクセスのない拡散モデル学習のサンプル複雑さ
• Authors: Mudit Gaur, Prashant Trivedi, Sasidhar Kunapuli, Amrit Singh Bedi, Vaneet Aggarwal,
• Abstract要約: スコア推定の原理的解析を行い、$widetildemathcalO(epsilon-6)$のサンプル複雑性を確立する。 これは、スコア関数推定損失の経験的リスク最小化器へのアクセスを仮定することなく、サンプル複雑性境界を達成する最初の結果である。
• 参考スコア（独自算出の注目度）: 34.04053917663974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have demonstrated state-of-the-art performance across vision, language, and scientific domains. Despite their empirical success, prior theoretical analyses of the sample complexity suffer from poor scaling with input data dimension or rely on unrealistic assumptions such as access to exact empirical risk minimizers. In this work, we provide a principled analysis of score estimation, establishing a sample complexity bound of $\widetilde{\mathcal{O}}(\epsilon^{-6})$. Our approach leverages a structured decomposition of the score estimation error into statistical, approximation, and optimization errors, enabling us to eliminate the exponential dependence on neural network parameters that arises in prior analyses. It is the first such result which achieves sample complexity bounds without assuming access to the empirical risk minimizer of score function estimation loss.
• Abstract（参考訳）: 拡散モデルは、視覚、言語、科学領域にわたる最先端のパフォーマンスを実証してきた。 実験的な成功にもかかわらず、サンプルの複雑さの以前の理論的分析は、入力データ次元のスケーリングが不十分であったり、正確な経験的リスク最小化器へのアクセスのような非現実的な仮定に依存していたりする。 本研究では、スコア推定の原理的解析を行い、サンプル複雑性を$\widetilde{\mathcal{O}}(\epsilon^{-6})$とする。 提案手法では, スコア推定誤差を統計的, 近似, 最適化誤差に構造化分解することにより, 先行解析で発生するニューラルネットワークパラメータへの指数的依存を解消する。 これは、スコア関数推定損失の経験的リスク最小化器へのアクセスを仮定することなく、サンプル複雑性境界を達成する最初の結果である。

関連論文リスト

• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  予測型因果推論(PPCI)に焦点をあてる PPCIは、未ラベルの事実結果を用いた対象実験における治療効果を推定し、事前訓練されたモデルからゼロショットを取得する。 バニラ実験的リスク最小化によって解決不可能なインスタンスに対するソリューションを提供するため,本手法を合成および実世界の科学的データに対して検証する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Learning with Shared Representations: Statistical Rates and Efficient Algorithms [13.643155483461028]
  潜在共有表現による協調学習により、異種クライアントは、サンプルサイズを減らしながら、パフォーマンスを向上したパーソナライズされたモデルをトレーニングできる。 経験的成功と広範な研究にもかかわらず、統計誤差率の理論的理解は、低次元線型部分空間に制約された共有表現でさえも不完全である。
  論文  参考訳（メタデータ） (2024-09-07T21:53:01Z)
• Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms and Theoretical Studies [1.6457778420360534]
  任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。 通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。 得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
  論文  参考訳（メタデータ） (2021-12-15T20:35:21Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Statistical Agnostic Mapping: a Framework in Neuroimaging based on Concentration Inequalities [0.0]
  ボクセルやマルチボクセルレベルでの統計アグノスティック(非パラメトリック)マッピングを導出する。 集中不平等に基づくニューロイメージングの新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2019-12-27T18:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。