Fugu-MT 論文翻訳(概要): Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms

論文の概要: Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms

arxiv url: http://arxiv.org/abs/2102.02016v1
Date: Wed, 3 Feb 2021 11:38:00 GMT
ステータス: 処理完了
システム内更新日: 2021-02-05 00:58:18.464892
Title: Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms
Title（参考訳）: 学習アルゴリズムの一般化誤差のモーメントに関する情報理論的境界
Authors: Gholamali Aminian, Laura Toni, Miguel R. D. Rodrigues
Abstract要約: 一般化エラー境界は、機械学習モデルの性能を理解するために重要である。本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
参考スコア（独自算出の注目度）: 19.186110989897738
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Generalization error bounds are critical to understanding the performance of machine learning models. In this work, building upon a new bound of the expected value of an arbitrary function of the population and empirical risk of a learning algorithm, we offer a more refined analysis of the generalization behaviour of a machine learning models based on a characterization of (bounds) to their generalization error moments. We discuss how the proposed bounds -- which also encompass new bounds to the expected generalization error -- relate to existing bounds in the literature. We also discuss how the proposed generalization error moment bounds can be used to construct new generalization error high-probability bounds.
Abstract（参考訳）: 一般化エラー境界は、機械学習モデルのパフォーマンスを理解する上で重要である。本研究では,集団の任意の関数の期待値と学習アルゴリズムの経験的リスクの新たなバウンダリに基づいて,機械学習モデルの一般化挙動を,その一般化誤差モーメントに対する特徴付け(バウンダリ)に基づいてより洗練された分析を行う。提案する境界(期待された一般化誤差に対する新たな境界も含む)が文献上の既存の境界とどのように関係しているかを考察する。また,提案する一般化誤差モーメント境界を用いて,新しい一般化誤差高確率境界を構築する方法について述べる。

関連論文リスト

Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
論文参考訳（メタデータ） (2024-01-05T17:05:14Z)
Generalization error bounds for iterative learning algorithms with bounded updates [41.87646434714452]
本稿では,これらのアルゴリズムを有界更新で一般化するための新しいバウンダリを導入する。情報分割を反復的に行うために分散分解手法を用いる。また,理論と実践のギャップを埋めるために,大規模言語モデルにおける以前に観測されたスケーリングの挙動についても検討する。
論文参考訳（メタデータ） (2023-09-10T16:55:59Z)
A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文参考訳（メタデータ） (2023-05-18T15:36:20Z)
Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文参考訳（メタデータ） (2022-11-02T16:39:42Z)
On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文参考訳（メタデータ） (2022-10-12T12:49:20Z)
On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文参考訳（メタデータ） (2022-07-01T17:58:29Z)
Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information [18.92529916180208]
教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
論文参考訳（メタデータ） (2021-07-28T22:20:34Z)
Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文参考訳（メタデータ） (2021-06-15T18:34:41Z)
Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms [17.682750327776777]
一般化エラー境界は、機械学習モデルの性能を理解するために重要である。教師付き学習シナリオに適用可能な情報理論に基づく一般化誤差上限を提案する。
論文参考訳（メタデータ） (2020-10-23T20:53:07Z)
In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。経験的に評価すると、これらの境界の大部分は数値的に空白である。我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文参考訳（メタデータ） (2020-10-22T17:54:25Z)
The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文参考訳（メタデータ） (2020-10-22T12:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。