論文の概要: Generalization Bounds via Information Density and Conditional Information Density

• arxiv url: http://arxiv.org/abs/2005.08044v5
• Date: Fri, 19 Mar 2021 09:12:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 13:16:29.960576
• Title: Generalization Bounds via Information Density and Conditional Information Density
• Title（参考訳）: 情報密度と条件情報密度による一般化境界
• Authors: Fredrik Hellstr\"om and Giuseppe Durisi
• Abstract要約: 本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
• 参考スコア（独自算出の注目度）: 14.147617330278662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a general approach, based on an exponential inequality, to derive bounds on the generalization error of randomized learning algorithms. Using this approach, we provide bounds on the average generalization error as well as bounds on its tail probability, for both the PAC-Bayesian and single-draw scenarios. Specifically, for the case of subgaussian loss functions, we obtain novel bounds that depend on the information density between the training data and the output hypothesis. When suitably weakened, these bounds recover many of the information-theoretic available bounds in the literature. We also extend the proposed exponential-inequality approach to the setting recently introduced by Steinke and Zakynthinou (2020), where the learning algorithm depends on a randomly selected subset of the available training data. For this setup, we present bounds for bounded loss functions in terms of the conditional information density between the output hypothesis and the random variable determining the subset choice, given all training data. Through our approach, we recover the average generalization bound presented by Steinke and Zakynthinou (2020) and extend it to the PAC-Bayesian and single-draw scenarios. For the single-draw scenario, we also obtain novel bounds in terms of the conditional $\alpha$-mutual information and the conditional maximal leakage.
• Abstract（参考訳）: 本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 この手法を用いて,pac-bayes と single-draw の両シナリオにおいて,平均一般化誤差と末尾確率の境界を与える。 具体的には、サブガウス損失関数の場合、トレーニングデータと出力仮説の間の情報密度に依存する新しい境界を得る。 適度に弱めると、これらの境界は文学における情報理論上利用可能な境界の多くを回復する。 我々はまた、最近Steinke and Zakynthinou (2020)によって導入された設定に指数的不等式アプローチを拡張し、学習アルゴリズムは利用可能なトレーニングデータのランダムに選択されたサブセットに依存する。 この設定のために、すべてのトレーニングデータに対して、出力仮説とサブセット選択を決定する確率変数との条件情報密度の観点から、有界損失関数の境界を示す。 このアプローチにより,steinke と zakynthinou (2020) による平均一般化を回復し,pac-bayesian と single-draw のシナリオに拡張した。 単一描画シナリオでは,条件付き$\alpha$-mutual情報と条件付き最大リークという条件付き境界も得られる。

関連論文リスト

• An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
  学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。 一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
  論文  参考訳（メタデータ） (2024-08-20T10:08:21Z)
• Data-dependent Generalization Bounds via Variable-Size Compressibility [16.2444595840653]
  我々は「可変サイズ圧縮性」フレームワークのレンズによる一般化誤差に関する新しいデータ依存上界を確立する。 このフレームワークでは、アルゴリズムの一般化誤差を、その入力データの可変サイズの「圧縮率」にリンクする。 私たちが確立した新しい一般化境界は、テール境界、期待上のテール境界、および予想外境界である。
  論文  参考訳（メタデータ） (2023-03-09T16:17:45Z)
• Tighter Information-Theoretic Generalization Bounds from Supersamples [27.14107452619853]
  本稿では,学習アルゴリズムのための情報理論の新たな一般化境界について述べる。 提示される境界は平方根境界、高速レート境界を含み、分散と鋭さに基づく境界を含む。 理論的あるいは経験的に、これらの境界は、同じスーパーサンプル設定で知られているすべての情報理論境界よりも厳密であることを示す。
  論文  参考訳（メタデータ） (2023-02-05T17:06:27Z)
• STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning [111.75423966239092]
  遷移モデルの現在の推定値と未知の最適値との間の積分確率距離(IPM)の観点から探索インセンティブを提案する。 KSDに基づく新しいアルゴリズムを開発した。 textbfSTEin information dirtextbfEcted Explor for model-based textbfReinforcement Learntextbfing。
  論文  参考訳（メタデータ） (2023-01-28T00:49:28Z)
• Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
  凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。 勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。 以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
  論文  参考訳（メタデータ） (2022-12-27T17:16:48Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• A Discriminative Technique for Multiple-Source Adaptation [55.5865665284915]
  本稿では,マルチソース適応のための新しい識別手法,MSA,問題を提案する。 我々のソリューションは、ソースドメインからのラベルなしデータから容易に正確に推定できる条件付き確率のみを必要とする。 実世界の応用実験により、新しい識別的MSAアルゴリズムは、以前の生成解よりも優れていたことがさらに証明された。
  論文  参考訳（メタデータ） (2020-08-25T14:06:15Z)
• Sharpened Generalization Bounds based on Conditional Mutual Information and an Application to Noisy, Iterative Algorithms [41.98752845890157]
  本稿では,Steinke と Zakynthinou による提案を,スーパーサンプルの導入による学習アルゴリズムの一般化誤差について考察する。 まず、条件付き相互情報に基づくこれらの新しい境界は、条件なし相互情報に基づく境界よりも厳密であることを示す。 これらの境界をランゲヴィン力学の研究に適用し、超試料の条件付けにより仮説テストに基づいてより厳密な境界が得られることを示した。
  論文  参考訳（メタデータ） (2020-04-27T17:51:09Z)
• Generalization Error Bounds via $m$th Central Moments of the Information Density [14.147617330278662]
  本稿では,ランダム化学習アルゴリズムの一般化誤差に対するバウンダリを導出する一般手法を提案する。 我々の手法は、平均一般化誤差の有界値と、その尾の確率の有界値を得るのに利用できる。
  論文  参考訳（メタデータ） (2020-04-20T09:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。