論文の概要: Jensen-Shannon Information Based Characterization of the Generalization
Error of Learning Algorithms
- arxiv url: http://arxiv.org/abs/2010.12664v2
- Date: Fri, 8 Jan 2021 15:27:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 23:53:59.857470
- Title: Jensen-Shannon Information Based Characterization of the Generalization
Error of Learning Algorithms
- Title(参考訳): Jensen-Shannon情報に基づく学習アルゴリズムの一般化誤差の特徴付け
- Authors: Gholamali Aminian, Laura Toni, Miguel R. D. Rodrigues
- Abstract要約: 一般化エラー境界は、機械学習モデルの性能を理解するために重要である。
教師付き学習シナリオに適用可能な情報理論に基づく一般化誤差上限を提案する。
- 参考スコア(独自算出の注目度): 17.682750327776777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalization error bounds are critical to understanding the performance of
machine learning models. In this work, we propose a new information-theoretic
based generalization error upper bound applicable to supervised learning
scenarios. We show that our general bound can specialize in various previous
bounds. We also show that our general bound can be specialized under some
conditions to a new bound involving the Jensen-Shannon information between a
random variable modelling the set of training samples and another random
variable modelling the hypothesis. We also prove that our bound can be tighter
than mutual information-based bounds under some conditions.
- Abstract(参考訳): 一般化エラー境界は、機械学習モデルのパフォーマンスを理解する上で重要である。
本研究では,教師付き学習シナリオに適用可能な新しい情報理論に基づく一般化誤差上限を提案する。
我々の一般境界は、様々な以前の境界を特殊化できることを示す。
また、トレーニングサンプルの集合をモデル化する確率変数と仮説をモデル化する別の確率変数との間のjensen-shannon情報を含む新しい境界に対して、我々の一般境界をいくつかの条件下で特殊化できることを示した。
また,ある条件下では,相互情報に基づく境界よりも境界が厳密であることが証明される。
関連論文リスト
- Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳(メタデータ) (2024-06-07T14:29:21Z) - Class-wise Generalization Error: an Information-Theoretic Analysis [22.877440350595222]
本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。
我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
論文 参考訳(メタデータ) (2024-01-05T17:05:14Z) - A unified framework for learning with nonlinear model classes from
arbitrary linear samples [0.7366405857677226]
この研究は、与えられたモデルクラスを使用してトレーニングデータから未知のオブジェクトを学ぶという根本的な問題を考察する。
任意のヒルベルト空間のオブジェクト、訓練データとしての(ランダムな)線形測定の一般型、非線形モデルクラスの一般型を可能にする統一的なフレームワークを導入する。
本稿では, ランダムサンプリングによる行列スケッチ, 等方的ベクトルを用いた圧縮センシング, 回帰学習, 生成モデルによる圧縮センシングなどの例を示す。
論文 参考訳(メタデータ) (2023-11-25T00:43:22Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Learning Algorithm Generalization Error Bounds via Auxiliary Distributions [16.44492672878356]
一般化エラー境界は、機械学習モデルがどのように機能するかを理解するのに不可欠である。
そこで本研究では,Auxiliary Distribution Methodという新たな手法を提案する。
論文 参考訳(メタデータ) (2022-10-02T10:37:04Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳(メタデータ) (2021-10-03T05:38:49Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳(メタデータ) (2021-06-15T18:34:41Z) - Information-Theoretic Bounds on the Moments of the Generalization Error
of Learning Algorithms [19.186110989897738]
一般化エラー境界は、機械学習モデルの性能を理解するために重要である。
本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
論文 参考訳(メタデータ) (2021-02-03T11:38:00Z) - The Role of Mutual Information in Variational Classifiers [47.10478919049443]
クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。
我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
論文 参考訳(メタデータ) (2020-10-22T12:27:57Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。