論文の概要: Generalization Bounds via Convex Analysis
- arxiv url: http://arxiv.org/abs/2202.04985v1
- Date: Thu, 10 Feb 2022 12:30:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-11 14:36:59.784738
- Title: Generalization Bounds via Convex Analysis
- Title（参考訳）: 凸解析による一般化境界
- Authors: Gergely Neu, G\'abor Lugosi
- Abstract要約: 連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
- 参考スコア（独自算出の注目度）: 12.411844611718958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since the celebrated works of Russo and Zou (2016,2019) and Xu and Raginsky
(2017), it has been well known that the generalization error of supervised
learning algorithms can be bounded in terms of the mutual information between
their input and the output, given that the loss of any fixed hypothesis has a
subgaussian tail. In this work, we generalize this result beyond the standard
choice of Shannon's mutual information to measure the dependence between the
input and the output. Our main result shows that it is indeed possible to
replace the mutual information by any strongly convex function of the joint
input-output distribution, with the subgaussianity condition on the losses
replaced by a bound on an appropriately chosen norm capturing the geometry of
the dependence measure. This allows us to derive a range of generalization
bounds that are either entirely new or strengthen previously known ones.
Examples include bounds stated in terms of $p$-norm divergences and the
Wasserstein-2 distance, which are respectively applicable for heavy-tailed loss
distributions and highly smooth loss functions. Our analysis is entirely based
on elementary tools from convex analysis by tracking the growth of a potential
function associated with the dependence measure and the loss function.
- Abstract（参考訳）: Russo and Zou (2016,2019) と Xu and Raginsky (2017) の有名な業績から、教師付き学習アルゴリズムの一般化誤差は、任意の固定仮説の損失が亜ガウス的尾を持つことを考えると、入力と出力の間の相互情報の観点から有界であることはよく知られている。
本研究では、この結果をシャノンの相互情報の標準選択を超えて一般化し、入力と出力の依存性を測定する。
本研究の主な結果は,相互情報を結合入力出力分布の任意の強凸関数に置き換えることができ,従属測度の幾何をキャプチャする適切に選択されたノルム上のバウンドに置き換えられた損失のサブガウシアン性条件に置き換えることができることを示す。
これにより、完全に新しい、あるいは以前に知られていたような強化された一般化境界を導出することができる。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界は、それぞれ重み付き損失分布と非常に滑らかな損失関数に適用できる。
本分析は, 依存度と損失関数に関連付けられたポテンシャル関数の成長を追跡することにより, 凸解析から得られる基本ツールに基づく。
関連論文リスト
- General Loss Functions Lead to (Approximate) Interpolation in High
Dimensions [6.738946307589741]
閉形式における勾配降下の暗黙バイアスを概ね特徴づける統一的な枠組みを提供する。
具体的には、暗黙バイアスが高次元の最小ノルムに近似されている(正確には同値ではない)ことを示す。
また,本フレームワークは,バイナリとマルチクラス設定間で指数関数的に制限された損失に対して,既存の正確な等価性を回復する。
論文 参考訳（メタデータ） (2023-03-13T21:23:12Z) - Data-dependent Generalization Bounds via Variable-Size Compressibility [16.2444595840653]
我々は「可変サイズ圧縮性」フレームワークのレンズによる一般化誤差に関する新しいデータ依存上界を確立する。
このフレームワークでは、アルゴリズムの一般化誤差を、その入力データの可変サイズの「圧縮率」にリンクする。
私たちが確立した新しい一般化境界は、テール境界、期待上のテール境界、および予想外境界である。
論文 参考訳（メタデータ） (2023-03-09T16:17:45Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。
我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文 参考訳（メタデータ） (2022-03-02T09:34:36Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。
intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。
レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文 参考訳（メタデータ） (2022-01-29T02:14:24Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Exponentially Weighted l_2 Regularization Strategy in Constructing
Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。
調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
論文 参考訳（メタデータ） (2020-07-02T15:42:15Z) - Optimal Bounds between $f$-Divergences and Integral Probability Metrics [8.401473551081748]
確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。
両家系の関係を凸双対性の観点から体系的に研究する。
我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
論文 参考訳（メタデータ） (2020-06-10T17:39:11Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Robust Generalization via $\alpha$-Mutual Information [24.40306100502023]
R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。
結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
論文 参考訳（メタデータ） (2020-01-14T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。