論文の概要: Comparing Comparators in Generalization Bounds
- arxiv url: http://arxiv.org/abs/2310.10534v2
- Date: Wed, 21 Feb 2024 13:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-22 20:04:11.796851
- Title: Comparing Comparators in Generalization Bounds
- Title(参考訳): 一般化境界における比較器の比較
- Authors: Fredrik Hellstr\"om, Benjamin Guedj
- Abstract要約: 任意の凸コンパレータ関数を含む一般情報理論およびPAC-ベイジアン一般化境界を導出する。
結合分布のCGFの凸共役であるコンパレータを伴って、最も緊密な有界が得られることを示す。
これは、有界および準ガウス的損失に対する既知の境界のほぼ最適性を確認し、他の有界分布の下での新しい境界をもたらす。
- 参考スコア(独自算出の注目度): 17.808906879967353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We derive generic information-theoretic and PAC-Bayesian generalization
bounds involving an arbitrary convex comparator function, which measures the
discrepancy between the training and population loss. The bounds hold under the
assumption that the cumulant-generating function (CGF) of the comparator is
upper-bounded by the corresponding CGF within a family of bounding
distributions. We show that the tightest possible bound is obtained with the
comparator being the convex conjugate of the CGF of the bounding distribution,
also known as the Cram\'er function. This conclusion applies more broadly to
generalization bounds with a similar structure. This confirms the
near-optimality of known bounds for bounded and sub-Gaussian losses and leads
to novel bounds under other bounding distributions.
- Abstract(参考訳): 学習と人口減少の差を測定する任意の凸コンパレータ関数を含む汎用情報理論およびpac-ベイズ一般化境界を導出する。
境界は、コンパレータの累積生成関数(CGF)が、有界分布の族内の対応する CGF によって上界となるという仮定で成り立つ。
有界分布 CGF の凸共役(英語版)(convex conjugate)であるコンパレータ(英語版)をCram\'er関数(英語版)(Clam\'er function)と呼ぶ。
この結論は、同様の構造を持つ一般化境界に対してより広く適用される。
これにより、有界および準ガウス損失に対する既知の境界の近似最適性が保証され、他の境界分布の下で新しい境界が導かれる。
関連論文リスト
- Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization
Bounds with Complexity Measures [14.408127155170774]
我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。
我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
論文 参考訳(メタデータ) (2024-02-19T10:15:11Z) - Tighter Generalisation Bounds via Interpolation [16.74864438507713]
本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。
また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
論文 参考訳(メタデータ) (2024-02-07T18:55:22Z) - Exactly Tight Information-Theoretic Generalization Error Bound for the
Quadratic Gaussian Problem [16.04977600068383]
我々は、厳密な情報理論の一般化誤差境界(すなわち、定数さえ一致する)を提供する。
既存の境界はこの設定で順序的に緩い。
その後、分解可能な損失関数に対して洗練された境界が提案され、ベクトル設定に対して厳密な境界が導かれる。
論文 参考訳(メタデータ) (2023-05-01T15:22:58Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳(メタデータ) (2022-10-12T12:49:20Z) - Integral Probability Metrics PAC-Bayes Bounds [22.534592918803813]
PAC-Bayes型一般化バウンダリを提案し、KL分割を様々な積分確率メトリック(IPM)に置き換えることを可能にする。
得られた境界の顕著な特徴は、それらが最悪の場合において古典的一様収束境界の間を自然に補間することである。
論文 参考訳(メタデータ) (2022-07-01T18:22:44Z) - Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。
我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文 参考訳(メタデータ) (2022-03-02T09:34:36Z) - Sharp Bounds for Federated Averaging (Local SGD) and Continuous
Perspective [49.17352150219212]
Federated AveragingFedAvg(ローカルSGD)は、Federated Learning(FL)で最も人気のあるアルゴリズムの1つである。
微分方程式(SDE)の観点から、この量を解析する方法を示す。
論文 参考訳(メタデータ) (2021-11-05T22:16:11Z) - Conformal field theory from lattice fermions [77.34726150561087]
1+1次元の格子フェルミオンで与えられる共形場理論の厳密な格子近似を提供する。
これらの結果が共形場理論の量子シミュレーションに関連する明らかな誤差推定にどのように結びつくかを示す。
論文 参考訳(メタデータ) (2021-07-29T08:54:07Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳(メタデータ) (2020-06-26T12:37:17Z) - Metrizing Weak Convergence with Maximum Mean Discrepancies [88.54422104669078]
本稿では、幅広い種類のカーネルに対する確率測度の弱収束を測る最大平均誤差(MMD)を特徴付ける。
我々は、局所コンパクトで非コンパクトなハウスドルフ空間において、有界連続ボレル可測核 k の MMD が確率測度の弱収束を測ることを証明する。
論文 参考訳(メタデータ) (2020-06-16T15:49:33Z) - The Convergence Indicator: Improved and completely characterized
parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。
この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文 参考訳(メタデータ) (2020-06-06T19:08:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。