論文の概要: A New Family of Generalization Bounds Using Samplewise Evaluated CMI

• arxiv url: http://arxiv.org/abs/2210.06422v2
• Date: Mon, 27 Mar 2023 13:53:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 02:17:01.382401
• Title: A New Family of Generalization Bounds Using Samplewise Evaluated CMI
• Title（参考訳）: サンプル評価CMIを用いた一般化境界の新家系
• Authors: Fredrik Hellstr\"om and Giuseppe Durisi
• Abstract要約: 本稿では,学習損失と人口損失を連接凸関数を用いて比較する情報理論の一般化境界系を提案する。 これまでに知られていた情報理論境界を拡張することで,この枠組みの汎用性を実証する。 いくつかのシナリオでは、この新しい境界は、以前の境界よりも深いニューラルネットワークの人口減少を厳しく評価する。
• 参考スコア（独自算出の注目度）: 14.147617330278662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new family of information-theoretic generalization bounds, in which the training loss and the population loss are compared through a jointly convex function. This function is upper-bounded in terms of the disintegrated, samplewise, evaluated conditional mutual information (CMI), an information measure that depends on the losses incurred by the selected hypothesis, rather than on the hypothesis itself, as is common in probably approximately correct (PAC)-Bayesian results. We demonstrate the generality of this framework by recovering and extending previously known information-theoretic bounds. Furthermore, using the evaluated CMI, we derive a samplewise, average version of Seeger's PAC-Bayesian bound, where the convex function is the binary KL divergence. In some scenarios, this novel bound results in a tighter characterization of the population loss of deep neural networks than previous bounds. Finally, we derive high-probability versions of some of these average bounds. We demonstrate the unifying nature of the evaluated CMI bounds by using them to recover average and high-probability generalization bounds for multiclass classification with finite Natarajan dimension.
• Abstract（参考訳）: 本稿では,共同凸関数を用いて学習損失と人口減少を比較する,情報理論一般化境界の新たなファミリーを提案する。 この関数は、おそらくほぼ正しい(PAC)-ベイズ的な結果に共通する仮説そのものよりも、選択された仮説によって引き起こされる損失に依存する情報測度である、分解された、標本的に評価された条件付き相互情報(CMI)の点において上界にある。 我々は,従来知られていた情報理論境界を回復し拡張することにより,このフレームワークの汎用性を示す。 さらに,評価されたcmiを用いて,シーガーのpac-ベイズ境界のサンプルワイズ平均バージョンを導出し,凸関数は二元 kl 分岐である。 いくつかのシナリオでは、この新しい境界は、以前の境界よりも深いニューラルネットワークの人口減少を強く評価する。 最後に、これらの平均境界のいくつかの高確率バージョンを導出する。 有限なナタラジャン次元を持つ多クラス分類における平均および高確率一般化境界を復元するために,評価されたcmi境界の統一性を示す。

関連論文リスト

• Tightening the Evaluation of PAC Bounds Using Formal Verification Results [16.671097256655777]
  我々は,PAC境界の評価にニューラルネットワークの形式的検証を用いるという新しいアプローチを採っている。 検証結果に既存の境界を条件付けすることで、検証された領域の基盤となる確率質量に比例した厳密化が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-29T15:53:14Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Adversarial Estimators [0.0]
  我々は、敵推定器(A推定器)の理論を開発する。 そこで本研究では,A推定器の収束率をポイントワイドおよび部分同定の両方で特徴付ける。 我々の理論は、ニューラルネットワークM-推定器の一般関数の正規性ももたらしている。
  論文  参考訳（メタデータ） (2022-04-22T04:39:44Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Exact Recovery in the General Hypergraph Stochastic Block Model [92.28929858529679]
  本稿では,d-uniform hypergraph block model(d-HSBM)の正確な回復の基本的な限界について検討する。 精度の高いしきい値が存在し、正確な回復がしきい値の上に達成でき、その下には不可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-11T03:39:08Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Generalization Bounds via Information Density and Conditional Information Density [14.147617330278662]
  本稿では,指数関数的不等式に基づいてランダム化学習アルゴリズムの一般化誤差を導出する一般手法を提案する。 PAC-Bayesian と Single-draw の両方のシナリオに対して、平均一般化誤差のバウンダリと、そのテール確率のバウンダリを提供する。
  論文  参考訳（メタデータ） (2020-05-16T17:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。