論文の概要: Information-Theoretic Bounds on the Moments of the Generalization Error
of Learning Algorithms
- arxiv url: http://arxiv.org/abs/2102.02016v1
- Date: Wed, 3 Feb 2021 11:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-05 00:58:18.464892
- Title: Information-Theoretic Bounds on the Moments of the Generalization Error
of Learning Algorithms
- Title（参考訳）: 学習アルゴリズムの一般化誤差のモーメントに関する情報理論的境界
- Authors: Gholamali Aminian, Laura Toni, Miguel R. D. Rodrigues
- Abstract要約: 一般化エラー境界は、機械学習モデルの性能を理解するために重要である。
本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
- 参考スコア（独自算出の注目度）: 19.186110989897738
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Generalization error bounds are critical to understanding the performance of
machine learning models. In this work, building upon a new bound of the
expected value of an arbitrary function of the population and empirical risk of
a learning algorithm, we offer a more refined analysis of the generalization
behaviour of a machine learning models based on a characterization of (bounds)
to their generalization error moments. We discuss how the proposed bounds --
which also encompass new bounds to the expected generalization error -- relate
to existing bounds in the literature. We also discuss how the proposed
generalization error moment bounds can be used to construct new generalization
error high-probability bounds.
- Abstract（参考訳）: 一般化エラー境界は、機械学習モデルのパフォーマンスを理解する上で重要である。
本研究では,集団の任意の関数の期待値と学習アルゴリズムの経験的リスクの新たなバウンダリに基づいて,機械学習モデルの一般化挙動を,その一般化誤差モーメントに対する特徴付け(バウンダリ)に基づいてより洗練された分析を行う。
提案する境界(期待された一般化誤差に対する新たな境界も含む)が文献上の既存の境界とどのように関係しているかを考察する。
また,提案する一般化誤差モーメント境界を用いて,新しい一般化誤差高確率境界を構築する方法について述べる。
関連論文リスト
- Generalization error bounds for iterative learning algorithms with
bounded updates [41.87646434714452]
本稿では,非大規模損失関数に対する有界更新を伴う反復学習アルゴリズムの特性について検討する。
我々の重要な貢献は、これらのアルゴリズムの一般化のための新しいバウンダリであり、以前の作業の範囲を超えて拡張されている。
論文 参考訳（メタデータ） (2023-09-10T16:55:59Z) - A unified framework for information-theoretic generalization bounds [11.764601181046496]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - Learning Trajectories are Generalization Indicators [66.4754357297873]
本稿では,Deep Neural Networks (DNN) の学習軌跡と一般化能力との関係について検討する。
本稿では,各更新ステップの一般化誤差の変化に対する寄与を調査し,一般化誤差を解析するための新しい視点を提案する。
また,学習率やラベルのノイズレベルに対する調整を行う場合,一般化誤差の変化も追跡できる。
論文 参考訳（メタデータ） (2023-04-25T05:08:57Z) - Information Theoretic Lower Bounds for Information Theoretic Upper
Bounds [14.505867475659274]
コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。
本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。
既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
論文 参考訳（メタデータ） (2023-02-09T20:42:36Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳（メタデータ） (2022-10-12T12:49:20Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Characterizing the Generalization Error of Gibbs Algorithm with
Symmetrized KL information [18.92529916180208]
教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。
我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
論文 参考訳（メタデータ） (2021-07-28T22:20:34Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Jensen-Shannon Information Based Characterization of the Generalization
Error of Learning Algorithms [17.682750327776777]
一般化エラー境界は、機械学習モデルの性能を理解するために重要である。
教師付き学習シナリオに適用可能な情報理論に基づく一般化誤差上限を提案する。
論文 参考訳（メタデータ） (2020-10-23T20:53:07Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。
我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文 参考訳（メタデータ） (2020-10-22T12:27:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。