論文の概要: From Generalisation Error to Transportation-cost Inequalities and Back
- arxiv url: http://arxiv.org/abs/2202.03956v1
- Date: Tue, 8 Feb 2022 16:07:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 17:38:13.813591
- Title: From Generalisation Error to Transportation-cost Inequalities and Back
- Title（参考訳）: 一般化エラーから輸送コストの不平等・バックへ
- Authors: Amedeo Roberto Esposito, Michael Gastpar
- Abstract要約: 我々は、期待される一般化誤差と輸送コストの不等式とを結びつける。
我々は、Kulback-Leibler Divergences/Mutual Informationとサブガウス対策を超えています。
- 参考スコア（独自算出の注目度）: 23.498743847708408
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we connect the problem of bounding the expected generalisation
error with transportation-cost inequalities. Exposing the underlying pattern
behind both approaches we are able to generalise them and go beyond
Kullback-Leibler Divergences/Mutual Information and sub-Gaussian measures. In
particular, we are able to provide a result showing the equivalence between two
families of inequalities: one involving functionals and one involving measures.
This result generalises the one proposed by Bobkov and G\"otze that connects
transportation-cost inequalities with concentration of measure. Moreover, it
allows us to recover all standard generalisation error bounds involving mutual
information and to introduce new, more general bounds, that involve arbitrary
divergence measures.
- Abstract（参考訳）: 本研究では,期待一般化誤差と輸送コストの不等式とのバウンド問題とを結びつける。
両方のアプローチの背後にあるパターンを公開することで、それらを一般化し、Kullback-Leibler Divergences/Mutual Informationやサブガウス測度を超えることができます。
特に、函数を含む2つの不等式族と測度を含む1つの不等式の間の同値性を示す結果を提供することができる。
この結果は、輸送コストの不等式と測度の集中を結びつけるbobkovとg\"otzeによって提案されたものである。
さらに、相互情報を含む標準一般化誤差境界を復元し、任意の発散対策を含む新しいより一般的な境界を導入することができる。
関連論文リスト
- A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。
我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文 参考訳（メタデータ） (2022-03-02T09:34:36Z) - Tighter Expected Generalization Error Bounds via Convexity of
Information Measures [8.359770027722275]
一般化エラー境界は機械学習アルゴリズムを理解するのに不可欠である。
本稿では,出力仮説と各入力トレーニングサンプル間の平均結合分布に基づいて,新たな一般化誤差上限を提案する。
論文 参考訳（メタデータ） (2022-02-24T15:36:09Z) - Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文 参考訳（メタデータ） (2022-02-10T12:30:45Z) - R\'enyi divergence inequalities via interpolation, with applications to
generalised entropic uncertainty relations [91.3755431537592]
量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。
我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
論文 参考訳（メタデータ） (2021-06-19T04:06:23Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳（メタデータ） (2021-06-11T20:42:27Z) - Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。
解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文 参考訳（メタデータ） (2021-02-07T14:47:00Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - Robust Generalization via $\alpha$-Mutual Information [24.40306100502023]
R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。
結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
論文 参考訳（メタデータ） (2020-01-14T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。