論文の概要: Class-wise Generalization Error: an Information-Theoretic Analysis

• arxiv url: http://arxiv.org/abs/2401.02904v1
• Date: Fri, 5 Jan 2024 17:05:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 14:41:02.513414
• Title: Class-wise Generalization Error: an Information-Theoretic Analysis
• Title（参考訳）: クラス別一般化誤差:情報理論解析
• Authors: Firas Laakom, Yuheng Bu, Moncef Gabbouj
• Abstract要約: 本稿では,各クラスの一般化性能を定量化するクラス一般化誤差について検討する。 我々は、異なるニューラルネットワークにおける提案した境界を実験的に検証し、それらが複雑なクラス一般化エラーの振る舞いを正確に捉えていることを示す。
• 参考スコア（独自算出の注目度）: 22.877440350595222
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing generalization theories of supervised learning typically take a holistic approach and provide bounds for the expected generalization over the whole data distribution, which implicitly assumes that the model generalizes similarly for all the classes. In practice, however, there are significant variations in generalization performance among different classes, which cannot be captured by the existing generalization bounds. In this work, we tackle this problem by theoretically studying the class-generalization error, which quantifies the generalization performance of each individual class. We derive a novel information-theoretic bound for class-generalization error using the KL divergence, and we further obtain several tighter bounds using the conditional mutual information (CMI), which are significantly easier to estimate in practice. We empirically validate our proposed bounds in different neural networks and show that they accurately capture the complex class-generalization error behavior. Moreover, we show that the theoretical tools developed in this paper can be applied in several applications beyond this context.
• Abstract（参考訳）: 教師付き学習の既存の一般化理論は一般に全体論的アプローチを採り、データ分布全体に対する期待された一般化の境界を提供する。 しかし、実際には、既存の一般化境界では捉えられない、異なるクラス間での一般化性能には大きなバリエーションがある。 本研究では,各クラスの一般化性能を定量化するクラス一般化誤差を理論的に検討し,この問題に取り組む。 我々は,KL分散を用いたクラス一般化誤差に対する新しい情報理論境界を導出し,さらに条件付き相互情報(CMI)を用いてより厳密な境界を求める。 我々は,提案する境界を異なるニューラルネットワークで実験的に検証し,複雑なクラス一般化誤り挙動を正確に捉えていることを示す。 さらに,本論文で開発された理論ツールは,この文脈を超えたいくつかの応用に適用可能であることを示す。

関連論文リスト

• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms [19.186110989897738]
  一般化エラー境界は、機械学習モデルの性能を理解するために重要である。 本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
  論文  参考訳（メタデータ） (2021-02-03T11:38:00Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)
• Towards a generalization of information theory for hierarchical partitions [0.0]
  階層的分割を扱う情報理論の一般化を導入する。 特に、多くの古典的情報理論量の階層的一般化を導出する。
  論文  参考訳（メタデータ） (2020-02-27T11:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。