論文の概要: Information-Theoretic Bayes Risk Lower Bounds for Realizable Models

• arxiv url: http://arxiv.org/abs/2111.04579v1
• Date: Mon, 8 Nov 2021 15:42:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 20:30:06.037961
• Title: Information-Theoretic Bayes Risk Lower Bounds for Realizable Models
• Title（参考訳）: 実現可能なモデルのための情報理論ベイズリスク低減
• Authors: Matthew Nokleby and Ahmad Beirami
• Abstract要約: 本研究では,ベイズリスクと機械学習モデルの一般化誤差に関する情報理論の下限を導出する。 再現可能なモデルでは、速度歪み関数と相互情報の両方が解析に便利な表現を許容していることが示される。
• 参考スコア（独自算出の注目度）: 11.203656874463697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive information-theoretic lower bounds on the Bayes risk and generalization error of realizable machine learning models. In particular, we employ an analysis in which the rate-distortion function of the model parameters bounds the required mutual information between the training samples and the model parameters in order to learn a model up to a Bayes risk constraint. For realizable models, we show that both the rate distortion function and mutual information admit expressions that are convenient for analysis. For models that are (roughly) lower Lipschitz in their parameters, we bound the rate distortion function from below, whereas for VC classes, the mutual information is bounded above by $d_\mathrm{vc}\log(n)$. When these conditions match, the Bayes risk with respect to the zero-one loss scales no faster than $\Omega(d_\mathrm{vc}/n)$, which matches known outer bounds and minimax lower bounds up to logarithmic factors. We also consider the impact of label noise, providing lower bounds when training and/or test samples are corrupted.
• Abstract（参考訳）: 本研究では,ベイズリスクと機械学習モデルの一般化誤差に関する情報理論の下限を導出する。 特に,モデルパラメータのレートゆがみ関数がトレーニングサンプルとモデルパラメータ間の必要な相互情報にバインドし,ベイズリスク制約までのモデルを学ぶ解析を行う。 実現可能なモデルの場合、レート歪み関数と相互情報の両方が解析に便利な表現を許容することを示す。 パラメータの(大まかに)低いリプシッツについて、速度歪み関数を下から有界とするのに対し、VCクラスでは、相互情報は$d_\mathrm{vc}\log(n)$で有界である。 これらの条件が一致するとき、ゼロ1の損失に対するベイズリスクは、既知の外界と対数的因子までのミニマックス下界に一致する$\Omega(d_\mathrm{vc}/n)$よりも速くスケールする。 また、ラベルノイズの影響を考慮し、トレーニングやテストサンプルの破損時に低い境界を提供する。

関連論文リスト

• Effect of Correlated Errors on Quantum Memory [1.3198143828338362]
  隠れ乱数場に基づく古典的相関モデルを導入し,長距離相関による誤差をモデル化する。 このモデルでは, 結合(システムと入浴)ハミルトンモデルによって捕捉されないある種の相関パターンを, ペア項で捉えることができることを示す。
  論文  参考訳（メタデータ） (2024-08-16T14:59:10Z)
• Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
  このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。 我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。 また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
  論文  参考訳（メタデータ） (2023-02-17T19:48:11Z)
• How Does Pseudo-Labeling Affect the Generalization Error of the Semi-Supervised Gibbs Algorithm? [73.80001705134147]
  擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。 ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
  論文  参考訳（メタデータ） (2022-10-15T04:11:56Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Rate-Distortion Analysis of Minimum Excess Risk in Bayesian Learning [15.544041797200045]
  ベイズ学習における最小余剰リスク(MER)は、データから学ぶ際に達成可能な最小損失と、基礎となるパラメータ$W$が観測された場合に達成できる最小損失との差として定義される。 我々は、これらの上界と下界の差に関する情報理論的境界を導出し、それらがMERに対して秩序的に厳密なレートを提供できることを示す。
  論文  参考訳（メタデータ） (2021-05-10T08:14:10Z)
• Minimum Excess Risk in Bayesian Learning [23.681494934015927]
  最小超過リスク(mer)の定義と上限化により,生成モデルの下でベイズ学習の達成可能な最高の性能を解析する。 MERの定義は、ベイズ学習における不確実性の異なる概念を定義する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2020-12-29T17:41:30Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• Modelling and Quantifying Membership Information Leakage in Machine Learning [14.095523601311374]
  我々は、ディープニューラルネットワークのような複雑なモデルが、メンバーシップ推論攻撃の影響を受けやすいことを示す。 本稿では,Gaussian $(epsilon,delta)$-differentially-private additive noiseを使用する場合,メンバシップ情報漏洩の量は$mathcalO(log1/2(delta-1)epsilon-1)$で減少することを示す。
  論文  参考訳（メタデータ） (2020-01-29T00:42:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。