論文の概要: Robust Generalization via $\alpha$-Mutual Information
- arxiv url: http://arxiv.org/abs/2001.06399v1
- Date: Tue, 14 Jan 2020 11:28:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 13:56:14.757854
- Title: Robust Generalization via $\alpha$-Mutual Information
- Title（参考訳）: $\alpha$-Mutual Informationによるロバスト一般化
- Authors: Amedeo Roberto Esposito, Michael Gastpar, Ibrahim Issa
- Abstract要約: R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。
結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
- 参考スコア（独自算出の注目度）: 24.40306100502023
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The aim of this work is to provide bounds connecting two probability measures
of the same event using R\'enyi $\alpha$-Divergences and Sibson's
$\alpha$-Mutual Information, a generalization of respectively the
Kullback-Leibler Divergence and Shannon's Mutual Information. A particular case
of interest can be found when the two probability measures considered are a
joint distribution and the corresponding product of marginals (representing the
statistically independent scenario). In this case, a bound using Sibson's
$\alpha-$Mutual Information is retrieved, extending a result involving Maximal
Leakage to general alphabets. These results have broad applications, from
bounding the generalization error of learning algorithms to the more general
framework of adaptive data analysis, provided that the divergences and/or
information measures used are amenable to such an analysis ({\it i.e.,} are
robust to post-processing and compose adaptively). The generalization error
bounds are derived with respect to high-probability events but a corresponding
bound on expected generalization error is also retrieved.
- Abstract（参考訳）: 本研究の目的は、R\'enyi $\alpha$-divergences と Sibson の $\alpha$-Mutual Information を用いて、同じ事象の2つの確率測度を接続する境界を提供することである。
特定の利害関係のケースは、考えられる2つの確率測度が合同分布と対応する辺の積(統計的に独立したシナリオを示す)であるときに見ることができる。
この場合、シブソンの$\alpha-$mutual情報を用いたバウンドが検索され、その結果は一般アルファベットへの最大漏洩を含む。
これらの結果は、学習アルゴリズムの一般化誤差から適応データ分析のより一般的な枠組みへのバウンダリングから、そのような分析に使用する発散度および/または情報測度が対応可能である(すなわち、後処理に頑健であり、適応的に構成する)ことへの幅広い応用がある。
一般化誤差境界は高確率事象に対して導出されるが、期待される一般化誤差に対する対応する境界も検索される。
関連論文リスト
- Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳（メタデータ） (2023-06-04T02:32:12Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - Data-dependent Generalization Bounds via Variable-Size Compressibility [16.2444595840653]
我々は「可変サイズ圧縮性」フレームワークのレンズによる一般化誤差に関する新しいデータ依存上界を確立する。
このフレームワークでは、アルゴリズムの一般化誤差を、その入力データの可変サイズの「圧縮率」にリンクする。
私たちが確立した新しい一般化境界は、テール境界、期待上のテール境界、および予想外境界である。
論文 参考訳（メタデータ） (2023-03-09T16:17:45Z) - Tighter Expected Generalization Error Bounds via Convexity of
Information Measures [8.359770027722275]
一般化エラー境界は機械学習アルゴリズムを理解するのに不可欠である。
本稿では,出力仮説と各入力トレーニングサンプル間の平均結合分布に基づいて,新たな一般化誤差上限を提案する。
論文 参考訳（メタデータ） (2022-02-24T15:36:09Z) - Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文 参考訳（メタデータ） (2022-02-10T12:30:45Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
論文 参考訳（メタデータ） (2021-02-25T19:06:48Z) - The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。
我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:27:57Z) - General stochastic separation theorems with optimal bounds [68.8204255655161]
分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。
エラーやエラーのクラスタは、残りのデータから分離することができる。
AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
論文 参考訳（メタデータ） (2020-10-11T13:12:41Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data [4.56877715768796]
この研究は、部分指数データの仮定の下で一般化されたラッソの非漸近解析を行う。
本稿では,ジェネリックチェインに基づく証明戦略から自然に生じる2つの複雑性パラメータを用いて,推定誤差を制御できることを示す。
論文 参考訳（メタデータ） (2020-04-11T10:39:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。