論文の概要: Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound
- arxiv url: http://arxiv.org/abs/2202.05560v3
- Date: Sat, 07 Dec 2024 15:42:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:50:26.371893
- Title: Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound
- Title（参考訳）: PAC-Bayes境界による複数エラーの同時制御
- Authors: Reuben Adams, John Shawe-Taylor, Benjamin Guedj,
- Abstract要約: Kullback-Leibler 分岐をバウンダリングすることで、豊富な情報を提供できる最初の PAC-Bayes 境界を提供する。
我々の境界は、異なる誤分類の重大さが時間とともに変化する可能性がある場合に特に有用である。
- 参考スコア（独自算出の注目度）: 18.92870267111897
- License:
- Abstract: Current PAC-Bayes generalisation bounds are restricted to scalar metrics of performance, such as the loss or error rate. However, one ideally wants more information-rich certificates that control the entire distribution of possible outcomes, such as the distribution of the test loss in regression, or the probabilities of different mis-classifications. We provide the first PAC-Bayes bound capable of providing such rich information by bounding the Kullback-Leibler divergence between the empirical and true probabilities of a set of $M$ error types, which can either be discretized loss values for regression, or the elements of the confusion matrix (or a partition thereof) for classification. We transform our bound into a differentiable training objective. Our bound is especially useful in cases where the severity of different mis-classifications may change over time; existing PAC-Bayes bounds can only bound a particular pre-decided weighting of the error types. In contrast our bound implicitly controls all uncountably many weightings simultaneously.
- Abstract（参考訳）: 現在のPAC-Bayes一般化境界は、損失やエラー率などのパフォーマンスのスカラー指標に制限されている。
しかしながら、リグレッションにおけるテスト損失の分布や、異なる誤分類の確率など、可能な結果の分布全体を制御する、より情報に富んだ証明書を理想的に求めている。
M$の誤り型の集合の経験的および真確率を、回帰の離散化損失値であるか、分類の混乱行列(またはその分割)の要素とすることで、そのようなリッチな情報を提供することができる最初のPAC-Bayes境界を提供する。
私たちは境界を異なる訓練目標に変えます。
我々の境界は、異なる誤分類の重大度が時間とともに変化する場合に特に有用であり、既存のPAC-Bayes境界は、エラータイプの特定の決定済み重み付けのみを束縛することができる。
対照的に、有界な全ての重み付けを暗黙的に同時に制御する。
関連論文リスト
- Tighter Generalisation Bounds via Interpolation [16.74864438507713]
本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。
また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
論文 参考訳（メタデータ） (2024-02-07T18:55:22Z) - Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。
偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。
本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
論文 参考訳（メタデータ） (2023-06-19T18:25:44Z) - Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。
設計上、Los OIは直感的かつ直感的に全滅を意味する。
一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
論文 参考訳（メタデータ） (2022-10-16T22:25:27Z) - PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy
and Negative log-loss [28.166066663983674]
分類タスクに対する機械学習アルゴリズムの最終的な性能は通常、テストデータセットに基づく経験的エラー確率(または精度)の観点から測定される。
分類タスクの場合、この損失関数はよく知られたクロスエントロピーリスクにつながる負のログロスである。
本稿では, 検定のミスマッチを考慮した一般化ギャップに対するポイントワイズPACに基づく分析と, 負のログロスによるトレーニングを提案する。
論文 参考訳（メタデータ） (2021-12-10T14:00:22Z) - Unbiased Loss Functions for Multilabel Classification with Missing
Labels [2.1549398927094874]
欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。
本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
論文 参考訳（メタデータ） (2021-09-23T10:39:02Z) - Invariance Principle Meets Information Bottleneck for
Out-of-Distribution Generalization [77.24152933825238]
線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。
不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
論文 参考訳（メタデータ） (2021-06-11T20:42:27Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。
統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。
本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
論文 参考訳（メタデータ） (2021-01-25T09:46:14Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z) - Sample Complexity of Uniform Convergence for Multicalibration [43.10452387619829]
多重校正誤差に対処し、予測誤差から分離する。
我々の研究は、多重校正誤差の統一収束保証のためのサンプル複雑性境界を与える。
論文 参考訳（メタデータ） (2020-05-04T18:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。