Fugu-MT 論文翻訳(概要): Tighter Expected Generalization Error Bounds via Convexity of Information Measures

論文の概要: Tighter Expected Generalization Error Bounds via Convexity of Information Measures

arxiv url: http://arxiv.org/abs/2202.12150v1
Date: Thu, 24 Feb 2022 15:36:09 GMT
ステータス: 処理完了
システム内更新日: 2022-02-25 18:17:28.161275
Title: Tighter Expected Generalization Error Bounds via Convexity of Information Measures
Title（参考訳）: 情報対策の凸性による一般化誤差境界の予測
Authors: Gholamali Aminian, Yuheng Bu, Gregory Wornell, Miguel Rodrigues
Abstract要約: 一般化エラー境界は機械学習アルゴリズムを理解するのに不可欠である。本稿では,出力仮説と各入力トレーニングサンプル間の平均結合分布に基づいて,新たな一般化誤差上限を提案する。
参考スコア（独自算出の注目度）: 8.359770027722275
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generalization error bounds are essential to understanding machine learning algorithms. This paper presents novel expected generalization error upper bounds based on the average joint distribution between the output hypothesis and each input training sample. Multiple generalization error upper bounds based on different information measures are provided, including Wasserstein distance, total variation distance, KL divergence, and Jensen-Shannon divergence. Due to the convexity of the information measures, the proposed bounds in terms of Wasserstein distance and total variation distance are shown to be tighter than their counterparts based on individual samples in the literature. An example is provided to demonstrate the tightness of the proposed generalization error bounds.
Abstract（参考訳）: 一般化エラー境界は機械学習アルゴリズムを理解するのに不可欠である。本稿では,出力仮説と各入力トレーニングサンプル間の平均結合分布に基づいて,新たな一般化誤差上限を提案する。ワッサースタイン距離、全変動距離、kl発散、jensen-shannon発散など、異なる情報尺度に基づく多重一般化誤差上限が提供される。情報尺度の凸性から,提案するwasserstein距離と全変動距離の境界は,文献中の個々のサンプルに基づいて,それぞれよりも厳密であることが示されている。提案した一般化誤差境界の厳密性を示す例を示す。

関連論文リスト

Data-dependent Generalization Bounds via Variable-Size Compressibility [16.2444595840653]
我々は「可変サイズ圧縮性」フレームワークのレンズによる一般化誤差に関する新しいデータ依存上界を確立する。このフレームワークでは、アルゴリズムの一般化誤差を、その入力データの可変サイズの「圧縮率」にリンクする。私たちが確立した新しい一般化境界は、テール境界、期待上のテール境界、および予想外境界である。
論文参考訳（メタデータ） (2023-03-09T16:17:45Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。多くの近似法が開発されており、必然的に近似誤差を導入している。この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文参考訳（メタデータ） (2022-05-30T22:16:25Z)
Chained Generalisation Bounds [26.043342234937747]
連鎖手法を用いて教師付き学習アルゴリズムの予測一般化誤差の上限を導出する。我々は、損失関数の正則性に基づく一般化境界と、それらの鎖付き関数との双対性を確立する。
論文参考訳（メタデータ） (2022-03-02T09:34:36Z)
Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文参考訳（メタデータ） (2022-02-10T12:30:45Z)
Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文参考訳（メタデータ） (2022-02-02T20:11:33Z)
A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。ブレグマン最小化の発散の観点から一般的な枠組みを開発する。我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文参考訳（メタデータ） (2021-12-07T01:23:20Z)
The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文参考訳（メタデータ） (2020-10-22T12:27:57Z)
Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文参考訳（メタデータ） (2020-07-21T08:18:06Z)
Generalization Bounds via Information Density and Conditional Information Density [14.147617330278662]
本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
論文参考訳（メタデータ） (2020-05-16T17:04:24Z)
Robust Generalization via $\alpha$-Mutual Information [24.40306100502023]
R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
論文参考訳（メタデータ） (2020-01-14T11:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。