論文の概要: A Mathematical Framework for Learning Probability Distributions
- arxiv url: http://arxiv.org/abs/2212.11481v1
- Date: Thu, 22 Dec 2022 04:41:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 13:59:58.673884
- Title: A Mathematical Framework for Learning Probability Distributions
- Title(参考訳): 確率分布学習のための数学的枠組み
- Authors: Hongkang Yang
- Abstract要約: 生成的モデリングと密度推定は 近年 非常にポピュラーな話題になっています
本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。
特に,これらのモデルが訓練中に暗黙的な正規化を楽しむことを証明し,早期停止時の一般化誤差が次元性の呪いを避ける。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The modeling of probability distributions, specifically generative modeling
and density estimation, has become an immensely popular subject in recent years
by virtue of its outstanding performance on sophisticated data such as images
and texts. Nevertheless, a theoretical understanding of its success is still
incomplete. One mystery is the paradox between memorization and generalization:
In theory, the model is trained to be exactly the same as the empirical
distribution of the finite samples, whereas in practice, the trained model can
generate new samples or estimate the likelihood of unseen samples. Likewise,
the overwhelming diversity of distribution learning models calls for a unified
perspective on this subject. This paper provides a mathematical framework such
that all the well-known models can be derived based on simple principles. To
demonstrate its efficacy, we present a survey of our results on the
approximation error, training error and generalization error of these models,
which can all be established based on this framework. In particular, the
aforementioned paradox is resolved by proving that these models enjoy implicit
regularization during training, so that the generalization error at
early-stopping avoids the curse of dimensionality. Furthermore, we provide some
new results on landscape analysis and the mode collapse phenomenon.
- Abstract(参考訳): 確率分布のモデル化、特に生成的モデリングと密度推定は、画像やテキストなどの洗練されたデータに優れた性能を生かして近年、非常にポピュラーな主題となっている。
しかし、その成功に関する理論的理解はまだ不十分である。
理論的には、モデルは有限標本の経験的分布と全く同じように訓練されるが、実際には、訓練されたモデルは新しいサンプルを生成したり、目に見えないサンプルの可能性を推定することができる。
同様に、分散学習モデルの圧倒的多様性は、この主題に対する統一的な視点を要求する。
本論文は、すべての有名なモデルを単純な原理に基づいて導出できる数学的枠組みを提供する。
提案手法の有効性を示すため,これらのモデルの近似誤差,トレーニング誤差,一般化誤差について,この枠組みに基づいて検討した。
特に、上記のパラドックスは、これらのモデルがトレーニング中に暗黙の正則化を楽しみ、早期停止時の一般化誤差が次元の呪いを避けることを証明することによって解決される。
さらに,ランドスケープ解析とモード崩壊現象について新たな結果を得た。
関連論文リスト
- Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - On the Generalization Properties of Diffusion Models [33.93850788633184]
この研究は拡散モデルの一般化特性を包括的に理論的に探求することを目的としている。
我々は、スコアベース拡散モデルのトレーニング力学と合わせて、タンデムで進化する一般化ギャップの理論的推定値を確立する。
我々は定量分析をデータ依存のシナリオに拡張し、対象の分布を密度の連続として表現する。
論文 参考訳(メタデータ) (2023-11-03T09:20:20Z) - Bi-Noising Diffusion: Towards Conditional Diffusion Models with
Generative Restoration Priors [64.24948495708337]
本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。
我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
論文 参考訳(メタデータ) (2022-12-14T17:26:35Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳(メタデータ) (2022-05-31T16:27:57Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z) - Why do classifier accuracies show linear trends under distribution
shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。
2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。
分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文 参考訳(メタデータ) (2020-12-31T07:24:30Z) - Generalization and Memorization: The Bias Potential Model [9.975163460952045]
生成モデルと密度推定器は、関数の学習モデルとは全く異なる振る舞いをする。
バイアスポテンシャルモデルでは、早期停止が採用された場合、次元非依存の一般化精度が達成可能であることを示す。
長期的には、モデルはサンプルを記憶するか、分岐させる。
論文 参考訳(メタデータ) (2020-11-29T04:04:54Z) - On the Transferability of Adversarial Attacksagainst Neural Text
Classifier [121.6758865857686]
テキスト分類モデルの逆例の転送可能性について検討する。
本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。
これらの逆例からモデル診断に使用できる単語置換規則を導出する。
論文 参考訳(メタデータ) (2020-11-17T10:45:05Z) - Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep
Learning [29.473503894240096]
我々は、厳密な分類ではなく、単純な表現の値を取るデータにカテゴリ横断エントロピー損失を用いることに焦点をあてる。
このプラクティスは、ラベルの平滑化やアクター/ミリ波強化学習など、ニューラルネットワークアーキテクチャにおいて標準的なものだ。
我々はこれらのモデルに対して確率論的に着想を得た代替案を提案し、より原理的で理論的に魅力的であるアプローチを提供する。
論文 参考訳(メタデータ) (2020-11-10T16:44:35Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。