論文の概要: PAC-Bayes unleashed: generalisation bounds with unbounded losses

• arxiv url: http://arxiv.org/abs/2006.07279v2
• Date: Wed, 30 Sep 2020 16:02:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:41:53.673218
• Title: PAC-Bayes unleashed: generalisation bounds with unbounded losses
• Title（参考訳）: PAC-Bayes、無拘束の損失で一般化へ
• Authors: Maxime Haddouche and Benjamin Guedj and Omar Rivasplata and John Shawe-Taylor
• Abstract要約: 非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
• 参考スコア（独自算出の注目度）: 12.078257783674923
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present new PAC-Bayesian generalisation bounds for learning problems with unbounded loss functions. This extends the relevance and applicability of the PAC-Bayes learning framework, where most of the existing literature focuses on supervised learning problems with a bounded loss function (typically assumed to take values in the interval [0;1]). In order to relax this assumption, we propose a new notion called HYPE (standing for \emph{HYPothesis-dependent rangE}), which effectively allows the range of the loss to depend on each predictor. Based on this new notion we derive a novel PAC-Bayesian generalisation bound for unbounded loss functions, and we instantiate it on a linear regression problem. To make our theory usable by the largest audience possible, we include discussions on actual computation, practicality and limitations of our assumptions.
• Abstract（参考訳）: 非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これによりpac-bayes学習フレームワークの関連性と適用性が拡張され、既存の文献のほとんどは有界損失関数を持つ教師付き学習問題に焦点が当てられている(典型的には間隔 [0;1] で値を取ると仮定される)。 この仮定を緩和するために、我々はHYPE(\emph{HYPothesis-dependent rangE} の略)と呼ばれる新しい概念を提案する。 この新しい概念に基づき、非有界損失関数に束縛された新しいpac-ベイズ一般化を導出し、線形回帰問題でそれをインスタンス化する。 理論を最大限のオーディエンスで利用可能にするために、実際の計算、実用性、仮定の限界に関する議論を含める。

関連論文リスト

• A PAC-Bayesian Link Between Generalisation and Flat Minima [36.00919528944891]
  現代の機械学習は通常、過度なパラメータ設定で予測器を伴います。 この現象は多くの理論的結果に挑戦し、未解決の問題である。 勾配項を含む新しい一般化境界を提供する。
  論文  参考訳（メタデータ） (2024-02-13T15:03:02Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [1.9799527196428246]
  我々は,新しいPAC-Bayesオラクルを導入する。 この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。 我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Learning via Wasserstein-Based High Probability Generalisation Bounds [16.74864438507713]
  人口リスクや一般化ギャップの上限の最小化は、構造的リスクの最小化に広く利用されている。 ほとんどの境界は、KL(Kullback-Leibler)の発散項(またはその変分項)を含む。 最近の研究は、PAC-ベイズ境界におけるKLの発散をワッサーシュタイン距離に置き換えようとしている。
  論文  参考訳（メタデータ） (2023-06-07T12:17:17Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Information Complexity and Generalization Bounds [0.0]
  ランダム化学習アルゴリズムにおけるPAC-Bayesianと相互情報に基づく上限の統一画像を示す。 本稿では,ニューラルネットワーク,すなわちEntropy-とPAC-Bayes-SGDの2つの実践例について論じる。
  論文  参考訳（メタデータ） (2021-05-04T20:37:57Z)
• A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
  我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。 我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
  論文  参考訳（メタデータ） (2021-02-17T09:36:46Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• Probably Approximately Correct Constrained Learning [135.48447120228658]
  我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。 PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。 このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
  論文  参考訳（メタデータ） (2020-06-09T19:59:29Z)
• Domain Adaptation: Learning Bounds and Algorithms [80.85426994513541]
  本稿では,任意の損失関数を持つ適応問題に適した分布距離,差分距離を新たに導入する。 広い損失関数族に対する領域適応のための新しい一般化境界を導出する。 また、正規化に基づくアルゴリズムの大規模クラスに対する新しい適応境界も提示する。
  論文  参考訳（メタデータ） (2009-02-19T18:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。