論文の概要: A PAC-Bayesian Link Between Generalisation and Flat Minima

• arxiv url: http://arxiv.org/abs/2402.08508v1
• Date: Tue, 13 Feb 2024 15:03:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 15:06:43.417051
• Title: A PAC-Bayesian Link Between Generalisation and Flat Minima
• Title（参考訳）: 一般化とフラットミニマのPAC-ベイズ的関係
• Authors: Maxime Haddouche, Paul Viallard, Umut Simsekli, Benjamin Guedj
• Abstract要約: 現代の機械学習は通常、過度なパラメータ設定で予測器を伴います。 この現象は多くの理論的結果に挑戦し、未解決の問題である。 勾配項を含む新しい一般化境界を提供する。
• 参考スコア（独自算出の注目度）: 36.00919528944891
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Modern machine learning usually involves predictors in the overparametrised setting (number of trained parameters greater than dataset size), and their training yield not only good performances on training data, but also good generalisation capacity. This phenomenon challenges many theoretical results, and remains an open problem. To reach a better understanding, we provide novel generalisation bounds involving gradient terms. To do so, we combine the PAC-Bayes toolbox with Poincar\'e and Log-Sobolev inequalities, avoiding an explicit dependency on dimension of the predictor space. Our results highlight the positive influence of \emph{flat minima} (being minima with a neighbourhood nearly minimising the learning problem as well) on generalisation performances, involving directly the benefits of the optimisation phase.
• Abstract（参考訳）: 現代の機械学習は、通常、過度なパラメータ設定(データセットサイズよりも訓練済みパラメータの数)で予測器を伴い、トレーニングデータの性能だけでなく、優れた一般化能力も獲得する。 この現象は多くの理論的結果に挑戦し、未解決の問題である。 よりよく理解するために、勾配項を含む新しい一般化境界を提供する。 そのために、PAC-BayesツールボックスとPoincar\'eとLog-Sobolevの不等式を組み合わせ、予測空間の次元への明示的な依存を避ける。 この結果から, 最適化フェーズのメリットに直接かかわる一般化性能に対する, \emph{flat minima}(学習問題を最小化する付近のミニマ)の肯定的な影響を浮き彫りにした。

関連論文リスト

• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Improving Generalization of Complex Models under Unbounded Loss Using PAC-Bayes Bounds [10.94126149188336]
  PAC-Bayes学習理論は、テストエラーの厳密な上限を確立することに重点を置いている。 PAC-Bayesトレーニングと呼ばれる最近提案されたトレーニング手順は、これらの境界を最小化するためにモデルを更新する。 このアプローチは理論的に健全であり、実際は、経験的リスク最小化(ERM)によって得られたものほど、テストエラーを達成していない。 PAC-Bayes トレーニングアルゴリズムを導入し,性能向上と事前チューニングへの依存度低減を実現した。
  論文  参考訳（メタデータ） (2023-05-30T17:31:25Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
  非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
  論文  参考訳（メタデータ） (2020-06-12T15:55:46Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
  PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。 我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
  論文  参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。