論文の概要: Chained Generalisation Bounds

• arxiv url: http://arxiv.org/abs/2203.00977v1
• Date: Wed, 2 Mar 2022 09:34:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 01:12:05.939244
• Title: Chained Generalisation Bounds
• Title（参考訳）: 連鎖一般化境界
• Authors: Eugenio Clerico, Amitis Shidani, George Deligiannidis, Arnaud Doucet
• Abstract要約: 連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。 我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
• 参考スコア（独自算出の注目度）: 26.043342234937747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work discusses how to derive upper bounds for the expected generalisation error of supervised learning algorithms by means of the chaining technique. By developing a general theoretical framework, we establish a duality between generalisation bounds based on the regularity of the loss function, and their chained counterparts, which can be obtained by lifting the regularity assumption from the loss onto its gradient. This allows us to re-derive the chaining mutual information bound from the literature, and to obtain novel chained information-theoretic generalisation bounds, based on the Wasserstein distance and other probability metrics. We show on some toy examples that the chained generalisation bound can be significantly tighter than its standard counterpart, particularly when the distribution of the hypotheses selected by the algorithm is very concentrated. Keywords: Generalisation bounds; Chaining; Information-theoretic bounds; Mutual information; Wasserstein distance; PAC-Bayes.
• Abstract（参考訳）: 本研究は,教師付き学習アルゴリズムの期待一般化誤差の上限を連鎖法を用いて導出する方法について述べる。 一般理論フレームワークを開発することにより、損失関数の正則性に基づく一般化境界と、損失から勾配への正則性仮定を持ち上げることで得られる鎖付き境界との双対性を確立する。 これにより、文献から束縛された相互情報の再導出と、ワッサースタイン距離やその他の確率メトリクスに基づいて、新しい連鎖情報理論一般化境界を得ることができる。 特にアルゴリズムによって選択される仮説の分布が非常に集中している場合,連鎖一般化境界は,その標準値よりもかなり厳密であることを示す。 キーワード:一般化境界、連鎖、情報理論境界、相互情報、ワッサーシュタイン距離、PAC-Bayes。

関連論文リスト

• Leveraging PAC-Bayes Theory and Gibbs Distributions for Generalization Bounds with Complexity Measures [14.408127155170774]
  我々は、分解されたPAC-Bayes境界の枠組みを活用し、任意の複雑性測度で瞬時化可能な一般一般化を導出する。 我々の境界は仮説と学習サンプルを共同で確率に立っており、これは複雑性を一般化ギャップに適応させることができる。
  論文  参考訳（メタデータ） (2024-02-19T10:15:11Z)
• A unified framework for information-theoretic generalization bounds [8.04975023021212]
  本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。 主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
  論文  参考訳（メタデータ） (2023-05-18T15:36:20Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Generalization Bounds via Convex Analysis [12.411844611718958]
  連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。 例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
  論文  参考訳（メタデータ） (2022-02-10T12:30:45Z)
• R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
  量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。 我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
  論文  参考訳（メタデータ） (2021-06-19T04:06:23Z)
• Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization [120.31448970413298]
  我々は、チコノフ正則化の理論を一般化された自己協和損失関数に拡張する。 反復的チコノフ正規化スキームを用いて, GSC に対して高速かつ最適な速度が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:25:41Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• Generalization Bounds via Information Density and Conditional Information Density [14.147617330278662]
  本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
  論文  参考訳（メタデータ） (2020-05-16T17:04:24Z)
• Generalization Error Bounds via $m$th Central Moments of the Information Density [14.147617330278662]
  本稿では,ランダム化学習アルゴリズムの一般化誤差に対するバウンダリを導出する一般手法を提案する。 我々の手法は、平均一般化誤差の有界値と、その尾の確率の有界値を得るのに利用できる。
  論文  参考訳（メタデータ） (2020-04-20T09:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。