論文の概要: Information-theoretic Generalization Analysis for Expected Calibration Error

• arxiv url: http://arxiv.org/abs/2405.15709v1
• Date: Fri, 24 May 2024 16:59:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:11:11.237611
• Title: Information-theoretic Generalization Analysis for Expected Calibration Error
• Title（参考訳）: 期待校正誤差に対する情報理論一般化解析
• Authors: Futoshi Futami, Masahiro Fujisawa,
• Abstract要約: 本研究は,2つの共通ビンニング戦略,一様質量と一様幅ビンニングにおける推定バイアスの最初の包括的解析である。 私たちの境界は、推定バイアスを最小限に抑えるために、初めて最適なビンの数を明らかにします。 バイアス分析を情報理論に基づく一般化誤差解析に拡張する。
• 参考スコア（独自算出の注目度）: 4.005483185111992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the expected calibration error (ECE), which employs binning, is widely adopted to evaluate the calibration performance of machine learning models, theoretical understanding of its estimation bias is limited. In this paper, we present the first comprehensive analysis of the estimation bias in the two common binning strategies, uniform mass and uniform width binning. Our analysis establishes upper bounds on the bias, achieving an improved convergence rate. Moreover, our bounds reveal, for the first time, the optimal number of bins to minimize the estimation bias. We further extend our bias analysis to generalization error analysis based on the information-theoretic approach, deriving upper bounds that enable the numerical evaluation of how small the ECE is for unknown data. Experiments using deep learning models show that our bounds are nonvacuous thanks to this information-theoretic generalization analysis approach.
• Abstract（参考訳）: 予測校正誤差(ECE)は,機械学習モデルの校正性能を評価するために広く採用されているが,その推定バイアスの理論的理解は限られている。 本稿では,2つの共通ビンニング戦略,一様質量と一様幅ビンニングにおける推定バイアスの包括的解析について述べる。 我々の分析はバイアスの上限を確立し、収束率の向上を実現している。 さらに, 推定バイアスを最小化するために, ボビンの最適個数を初めて明らかにした。 さらに、情報理論に基づく一般化誤差解析にバイアス分析を拡張し、未知のデータに対してECEがどの程度小さいかの数値的な評価を可能にする上限を導出する。 深層学習モデルを用いた実験では、この情報理論の一般化分析アプローチにより、境界は空白であることがわかった。

関連論文リスト

• PAC-Bayes Analysis for Recalibration in Classification [4.005483185111992]
  我々は,大まかに正しい(PAC)ベイズフレームワークの下でキャリブレーション誤差の一般化解析を行う。 次に,一般化理論に基づく一般化対応再校正アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-10T12:53:13Z)
• A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
  線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。 まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。 理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
  論文  参考訳（メタデータ） (2024-06-10T12:25:13Z)
• Overcoming Saturation in Density Ratio Estimation by Iterated Regularization [11.244546184962996]
  密度比推定のためのカーネル手法のクラスが誤差飽和に悩まされていることを示す。 高速な誤差率を達成するために, 密度比推定における繰り返し正規化を導入する。
  論文  参考訳（メタデータ） (2024-02-21T16:02:14Z)
• Generalized Simultaneous Perturbation-based Gradient Search with Reduced Estimator Bias [7.372983005764439]
  本稿では,雑音関数測定を用いた一般化同時摂動探索(GSPGS)の家系について述べる。 各推定器に必要な関数の測定回数は、所望の精度のレベルによって導かれる。
  論文  参考訳（メタデータ） (2022-12-20T17:50:36Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Expected Validation Performance and Estimation of a Random Variable's Maximum [48.83713377993604]
  予測された検証性能に対する3つの統計的推定器を解析する。 偏りのない推定器は最も分散度が高く、最小分散度を持つ推定器は最大のバイアスを持つ。 2つの偏りのある推定器は、最も少ない誤った結論につながる。
  論文  参考訳（メタデータ） (2021-10-01T18:48:47Z)
• Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis [8.028776552383365]
  本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。 我々は,MAMLの変種に対するデータ依存の一般化を提供する。
  論文  参考訳（メタデータ） (2021-09-29T17:45:54Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。