論文の概要: Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound

• arxiv url: http://arxiv.org/abs/2202.05560v3
• Date: Sat, 07 Dec 2024 15:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:50:26.371893
• Title: Controlling Multiple Errors Simultaneously with a PAC-Bayes Bound
• Title（参考訳）: PAC-Bayes境界による複数エラーの同時制御
• Authors: Reuben Adams, John Shawe-Taylor, Benjamin Guedj,
• Abstract要約: Kullback-Leibler 分岐をバウンダリングすることで、豊富な情報を提供できる最初の PAC-Bayes 境界を提供する。 我々の境界は、異なる誤分類の重大さが時間とともに変化する可能性がある場合に特に有用である。
• 参考スコア（独自算出の注目度）: 18.92870267111897
• License:
• Abstract: Current PAC-Bayes generalisation bounds are restricted to scalar metrics of performance, such as the loss or error rate. However, one ideally wants more information-rich certificates that control the entire distribution of possible outcomes, such as the distribution of the test loss in regression, or the probabilities of different mis-classifications. We provide the first PAC-Bayes bound capable of providing such rich information by bounding the Kullback-Leibler divergence between the empirical and true probabilities of a set of $M$ error types, which can either be discretized loss values for regression, or the elements of the confusion matrix (or a partition thereof) for classification. We transform our bound into a differentiable training objective. Our bound is especially useful in cases where the severity of different mis-classifications may change over time; existing PAC-Bayes bounds can only bound a particular pre-decided weighting of the error types. In contrast our bound implicitly controls all uncountably many weightings simultaneously.
• Abstract（参考訳）: 現在のPAC-Bayes一般化境界は、損失やエラー率などのパフォーマンスのスカラー指標に制限されている。 しかしながら、リグレッションにおけるテスト損失の分布や、異なる誤分類の確率など、可能な結果の分布全体を制御する、より情報に富んだ証明書を理想的に求めている。 M$の誤り型の集合の経験的および真確率を、回帰の離散化損失値であるか、分類の混乱行列(またはその分割)の要素とすることで、そのようなリッチな情報を提供することができる最初のPAC-Bayes境界を提供する。 私たちは境界を異なる訓練目標に変えます。 我々の境界は、異なる誤分類の重大度が時間とともに変化する場合に特に有用であり、既存のPAC-Bayes境界は、エラータイプの特定の決定済み重み付けのみを束縛することができる。 対照的に、有界な全ての重み付けを暗黙的に同時に制御する。

関連論文リスト

• Of Dice and Games: A Theory of Generalized Boosting [61.752303337418475]
  我々は、コスト感受性と多目的損失の両方を組み込むために、ブースティングの有名な理論を拡張した。 我々は、コスト感受性と多目的強化の包括的理論を開発し、弱い学習保証の分類を提供する。 我々の特徴付けは、昇降の幾何学的解釈に依存しており、コスト感受性と多目的損失の間の驚くべき等価性を明らかにしている。
  論文  参考訳（メタデータ） (2024-12-11T01:38:32Z)
• Orthogonal Causal Calibration [55.28164682911196]
  我々は、任意の損失$ell$に対して、任意の因果パラメータのキャリブレーション誤差$theta$の一般的な上限を証明した。 我々は、因果校正のための2つのサンプル分割アルゴリズムの収束解析に境界を用いる。
  論文  参考訳（メタデータ） (2024-06-04T03:35:25Z)
• Tighter Generalisation Bounds via Interpolation [16.74864438507713]
  本稿では、$(f, Gamma)$-divergenceに基づいて、新しいPAC-Bayes一般化境界を導出するレシピを提案する。 また、PAC-Bayes一般化バウンダリでは、一連の確率発散を補間する。
  論文  参考訳（メタデータ） (2024-02-07T18:55:22Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Correcting Underrepresentation and Intersectional Bias for Classification [49.1574468325115]
  我々は、表現不足のバイアスによって破損したデータから学習する問題を考察する。 偏りのないデータの少ない場合、グループワイドのドロップアウト率を効率的に推定できることが示される。 本アルゴリズムは,有限VC次元のモデルクラスに対して,効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-19T18:25:44Z)
• PACMAN: PAC-style bounds accounting for the Mismatch between Accuracy and Negative log-loss [28.166066663983674]
  分類タスクに対する機械学習アルゴリズムの最終的な性能は通常、テストデータセットに基づく経験的エラー確率(または精度)の観点から測定される。 分類タスクの場合、この損失関数はよく知られたクロスエントロピーリスクにつながる負のログロスである。 本稿では, 検定のミスマッチを考慮した一般化ギャップに対するポイントワイズPACに基づく分析と, 負のログロスによるトレーニングを提案する。
  論文  参考訳（メタデータ） (2021-12-10T14:00:22Z)
• Unbiased Loss Functions for Multilabel Classification with Missing Labels [2.1549398927094874]
  欠落ラベルは、極端なマルチラベル分類(XMC)タスクにおいてユビキタスな現象である。 本稿では,異なるマルチラベルリダクションに対する特異な非バイアス推定器を導出する。
  論文  参考訳（メタデータ） (2021-09-23T10:39:02Z)
• Universal Off-Policy Evaluation [64.02853483874334]
  ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す 我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
  論文  参考訳（メタデータ） (2021-04-26T18:54:31Z)
• A Unified Joint Maximum Mean Discrepancy for Domain Adaptation [73.44809425486767]
  本論文は,最適化が容易なjmmdの統一形式を理論的に導出する。 統合JMMDから、JMMDは分類に有利な特徴ラベル依存を低下させることを示す。 本稿では,その依存を促進する新たなmmd行列を提案し,ラベル分布シフトにロバストな新しいラベルカーネルを考案する。
  論文  参考訳（メタデータ） (2021-01-25T09:46:14Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• Sample Complexity of Uniform Convergence for Multicalibration [43.10452387619829]
  多重校正誤差に対処し、予測誤差から分離する。 我々の研究は、多重校正誤差の統一収束保証のためのサンプル複雑性境界を与える。
  論文  参考訳（メタデータ） (2020-05-04T18:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。