論文の概要: Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound

• arxiv url: http://arxiv.org/abs/2202.05560v3
• Date: Sat, 07 Dec 2024 15:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 23:11:43.270439
• Title: Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound
• Title（参考訳）: PAC-Bayes境界による複数エラーの同時制御
• Authors: Reuben Adams, John Shawe-Taylor, Benjamin Guedj,
• Abstract要約: Kullback-Leibler 分岐をバウンダリングすることで、豊富な情報を提供できる最初の PAC-Bayes 境界を提供する。 我々の境界は、異なる誤分類の重大さが時間とともに変化する可能性がある場合に特に有用である。
• 参考スコア（独自算出の注目度）: 18.92870267111897
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current PAC-Bayes generalisation bounds are restricted to scalar metrics of performance, such as the loss or error rate. However, one ideally wants more information-rich certificates that control the entire distribution of possible outcomes, such as the distribution of the test loss in regression, or the probabilities of different mis-classifications. We provide the first PAC-Bayes bound capable of providing such rich information by bounding the Kullback-Leibler divergence between the empirical and true probabilities of a set of $M$ error types, which can either be discretized loss values for regression, or the elements of the confusion matrix (or a partition thereof) for classification. We transform our bound into a differentiable training objective. Our bound is especially useful in cases where the severity of different mis-classifications may change over time; existing PAC-Bayes bounds can only bound a particular pre-decided weighting of the error types. In contrast our bound implicitly controls all uncountably many weightings simultaneously.
• Abstract（参考訳）: 現在のPAC-Bayes一般化境界は、損失やエラー率などのパフォーマンスのスカラー指標に制限されている。 しかしながら、リグレッションにおけるテスト損失の分布や、異なる誤分類の確率など、可能な結果の分布全体を制御する、より情報に富んだ証明書を理想的に求めている。 M$の誤り型の集合の経験的および真確率を、回帰の離散化損失値であるか、分類の混乱行列(またはその分割)の要素とすることで、そのようなリッチな情報を提供することができる最初のPAC-Bayes境界を提供する。 私たちは境界を異なる訓練目標に変えます。 我々の境界は、異なる誤分類の重大度が時間とともに変化する場合に特に有用であり、既存のPAC-Bayes境界は、エラータイプの特定の決定済み重み付けのみを束縛することができる。 対照的に、有界な全ての重み付けを暗黙的に同時に制御する。

関連論文リスト

• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
  我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。 我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。 我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
  論文  参考訳（メタデータ） (2024-12-11T01:38:32Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。 以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Tighter Generalisation Bounds via Interpolation [16.74864438507713]
  本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。 また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
  論文  参考訳（メタデータ） (2024-02-07T18:55:22Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• Loss Minimization through the Lens of Outcome Indistinguishability [11.709566373491619]
  我々は凸損失と最近のOmnipredictionの概念について新しい視点を提示する。 設計上、Los OIは直感的かつ直感的に全滅を意味する。 一般化モデルから生じる損失の重要な集合に対する損失 OI は、完全な多重校正を必要としないことを示す。
  論文  参考訳（メタデータ） (2022-10-16T22:25:27Z)
• PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy and Negative log-loss [28.166066663983674]
  分類タスクに対する機械学習アルゴリズムの最終的な性能は通常、テストデータセットに基づく経験的エラー確率(または精度)の観点から測定される。 分類タスクの場合、この損失関数はよく知られたクロスエントロピーリスクにつながる負のログロスである。 本稿では, 検定のミスマッチを考慮した一般化ギャップに対するポイントワイズPACに基づく分析と, 負のログロスによるトレーニングを提案する。
  論文  参考訳（メタデータ） (2021-12-10T14:00:22Z)
• Unbiased Loss Functions for Multilabel Classification with Missing Labels [2.1549398927094874]
  欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。 本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-09-23T10:39:02Z)
• Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization [77.24152933825238]
  線形分類タスクには分布シフトの強い制限が必要であり、そうでなければ OOD の一般化は不可能であることを示す。 不変な特徴がラベルに関するすべての情報をキャプチャし、そうでなければ既存の成功を保っている場合、情報ボトルネックの形式が重要な障害に対処するのに役立つことを証明します。
  論文  参考訳（メタデータ） (2021-06-11T20:42:27Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Sample Complexity of Uniform Convergence for Multicalibration [43.10452387619829]
  多重校正誤差に対処し、予測誤差から分離する。 我々の研究は、多重校正誤差の統一収束保証のためのサンプル複雑性境界を与える。
  論文  参考訳（メタデータ） (2020-05-04T18:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。