論文の概要: Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
- arxiv url: http://arxiv.org/abs/2408.08675v1
- Date: Fri, 16 Aug 2024 11:41:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 15:45:34.985530
- Title: Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss
- Title（参考訳）: 凸化損失によるPAC-ベイズ分類の誤分類過剰リスク境界
- Authors: The Tien Mai,
- Abstract要約: PAC-Bayesian境界は、機械学習で新しい学習アルゴリズムを設計するための貴重なツールである。
本稿では、一般化の観点から、PAC-ベイズ境界に頼るのではなく、予想における相対的境界を利用する方法を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: PAC-Bayesian bounds have proven to be a valuable tool for deriving generalization bounds and for designing new learning algorithms in machine learning. However, it typically focus on providing generalization bounds with respect to a chosen loss function. In classification tasks, due to the non-convex nature of the 0-1 loss, a convex surrogate loss is often used, and thus current PAC-Bayesian bounds are primarily specified for this convex surrogate. This work shifts its focus to providing misclassification excess risk bounds for PAC-Bayesian classification when using a convex surrogate loss. Our key ingredient here is to leverage PAC-Bayesian relative bounds in expectation rather than relying on PAC-Bayesian bounds in probability. We demonstrate our approach in several important applications.
- Abstract（参考訳）: PAC-Bayesian境界は、一般化境界を導出し、機械学習で新しい学習アルゴリズムを設計するための貴重なツールであることが証明されている。
しかし、通常は、選択された損失関数に関して一般化境界を提供することにフォーカスする。
分類タスクでは、0-1損失の非凸性のため、凸代理損失が頻繁に使用され、したがって現在のPAC-ベイズ境界は、この凸代理に対して主に指定される。
この研究は、凸代理損失を使用する際に、PAC-ベイズ分類の誤分類過剰リスク境界を提供することに焦点を移す。
ここでの鍵となる要素は, PAC-Bayesian 境界を確率で依存するのではなく, PAC-Bayesian 境界を期待に利用することである。
このアプローチをいくつかの重要なアプリケーションで実証します。
関連論文リスト
- PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through
Supermartingales [5.799808780731661]
PACベイズ一般化バウンダリを重み付き損失に貢献する。
我々の重要な技術的貢献は、マルコフの不等式をスーパーマーチングラールに利用することである。
我々の証明技術は、様々なPAC-Bayesianフレームワークを統一し拡張する。
論文 参考訳（メタデータ） (2022-10-03T13:38:23Z) - Robust PAC$^m$: Training Ensemble Models Under Misspecification and
Outliers [46.38465729190199]
PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。
この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
論文 参考訳（メタデータ） (2022-03-03T17:11:07Z) - Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound [21.273964864852612]
M型エラーの集合の経験的確率と真確率の間のKulback-Leibler分散をバウンダリングすることで、リッチな情報を提供することができる最初のPAC-Bayes境界を提供する。
我々の境界は、異なる誤分類の重大さが時間とともに変化する可能性がある場合に特に有用である。
論文 参考訳（メタデータ） (2022-02-11T11:35:21Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳（メタデータ） (2021-06-03T09:50:13Z) - PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified
Bayesian Regime [75.19403612525811]
この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。
実証的研究は予測分布の改善を示す。
論文 参考訳（メタデータ） (2020-10-19T16:08:34Z) - Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。
ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。
本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文 参考訳（メタデータ） (2020-10-14T20:03:58Z) - PAC-Bayesian Bound for the Conditional Value at Risk [20.94565887795792]
Conditional Value at Risk (CVaR) は、伝統的な数学的な予測を一般化する「コヒーレントなリスク尺度」のファミリーである。
本稿では,経験的損失のCVaRを最小化する学習アルゴリズムの一般化を提案する。
論文 参考訳（メタデータ） (2020-06-26T02:55:24Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳（メタデータ） (2020-06-23T14:30:24Z) - PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。
これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文 参考訳（メタデータ） (2020-06-12T15:55:46Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳（メタデータ） (2020-05-28T02:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。