論文の概要: Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification

• arxiv url: http://arxiv.org/abs/2603.22644v1
• Date: Mon, 23 Mar 2026 23:43:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.221988
• Title: Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
• Title（参考訳）: 雑音二分分類におけるベイズ予測(PAC)によるオーバーフィッティングと一般化
• Authors: Xiaohan Zhu, Mesrob I. Ohannessian, Nathan Srebro,
• Abstract要約: 2進分類のためのPAC-Bayes型学習ルールについて検討し、ランダム化'後'予測器の学習誤差とKL偏差とのバランスをとる。 この研究は、PACベイズ型学習ルールの離散的な先行性のみを考慮したZhu氏とSrebro氏[2025]による以前の研究を拡張した。
• 参考スコア（独自算出の注目度）: 14.948415452530952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a PAC-Bayes type learning rule for binary classification, balancing the training error of a randomized ''posterior'' predictor with its KL divergence to a pre-specified ''prior''. This can be seen as an extension of a modified two-part-code Minimum Description Length (MDL) learning rule, to continuous priors and randomized predictions. With a balancing parameter of $λ=1$ this learning rule recovers an (empirical) Bayes posterior and a modified variant recovers the profile posterior, linking with standard Bayesian prediction (up to the treatment of the single-parameter noise level). However, from a risk-minimization prediction perspective, this Bayesian predictor overfits and can lead to non-vanishing excess loss in the agnostic case. Instead a choice of $λ\gg 1$, which can be seen as using a sample-size-dependent-prior, ensures uniformly vanishing excess loss even in the agnostic case. We precisely characterize the effect of under-regularizing (and over-regularizing) as a function of the balance parameter $λ$, understanding the regimes in which this under-regularization is tempered or catastrophic. This work extends previous work by Zhu and Srebro [2025] that considered only discrete priors to PAC Bayes type learning rules and, through their rigorous Bayesian interpretation, to Bayesian prediction more generally.
• Abstract（参考訳）: PAC-Bayes型学習ルールを二項分類に適用し,ランダム化'後'予測器の学習誤差とKL偏差のバランスをとる。 これは、修正された2部分符号最小記述長(MDL)学習規則を、連続した事前およびランダム化された予測に拡張したものと見なすことができる。 λ=1$のバランスパラメータで、この学習規則は(経験的)ベイズの後部を回復し、修正された変種は、標準ベイズ予測とリンクして、プロファイル後部を回復する。 しかし、リスク最小化予測の観点から、このベイズ予測器は過度に適合し、無知のケースでは消滅しない過剰な損失につながる可能性がある。 代わりに、サンプルサイズ依存プライアー(英語版)を用いて見ることのできる$λ\gg 1$という選択は、不可知の場合においても余剰損失を均一に消失させる。 我々は、過正規化(および過正規化)の効果をバランスパラメータ$λ$の関数として正確に特徴づけ、この過正規化が誘惑的あるいは破滅的な状態を理解する。 この研究は、Zhu と Srebro [2025] による以前の研究を、PACベイズ型学習規則の離散的な先行とみなし、厳密なベイズ解釈を通じて、より一般的にベイズ予測に拡張した。

関連論文リスト

• Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features [9.140494844209336]
  本稿では,前・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・後・ 以上の結果から,下部および上部の予測エンベロープに対して,明示的かつトラクタブルな境界を導出する。
  論文  参考訳（メタデータ） (2026-02-22T10:50:04Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Nearly Optimal Bayesian Inference for Structural Missingness [23.988531482641307]
  ベイズ的な見方では、後続の予測分布による予測は、完全なモデル後続の不確実性の上に統合される。 このフレームワークは、(II)ラベル予測からモデル内の欠損値後部を学習し、予測後部分布を最適化する。 43の分類と15の計算ベンチマークでSOTAを達成し、ベイズ最適性保証の近くに有限サンプルを持つ。
  論文  参考訳（メタデータ） (2026-01-26T14:03:11Z)
• Optimal Conformal Prediction under Epistemic Uncertainty [61.46247583794497]
  コンフォーマル予測(CP)は不確実性を表すための一般的なフレームワークである。 条件付きカバレッジを保証する最小の予測セットを生成するBernoulli予測セット(BPS)を導入する。 1次予測を与えられた場合、BPSはよく知られた適応予測セット(APS)に還元する。
  論文  参考訳（メタデータ） (2025-05-25T08:32:44Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• An Equivalence between Bayesian Priors and Penalties in Variational Inference [8.45602005745865]
  機械学習では、パラメータのいくつかの値をペナライズするアドホック正規化項によって変調される確率モデルのパラメータを最適化することが一般的である。 我々は、この手順に従って発生する正則化器を完全に特徴付け、与えられたペナルティに対応する事前を計算する体系的な方法を提供する。
  論文  参考訳（メタデータ） (2020-02-01T09:48:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。