論文の概要: PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales

• arxiv url: http://arxiv.org/abs/2210.00928v2
• Date: Mon, 24 Apr 2023 16:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 23:47:23.373958
• Title: PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales
• Title（参考訳）: PAC-Bayesによるスーパーマリンタレスによる重機損失の一般化
• Authors: Maxime Haddouche and Benjamin Guedj
• Abstract要約: PACベイズ一般化バウンダリを重み付き損失に貢献する。 我々の重要な技術的貢献は、マルコフの不等式をスーパーマーチングラールに利用することである。 我々の証明技術は、様々なPAC-Bayesianフレームワークを統一し拡張する。
• 参考スコア（独自算出の注目度）: 5.799808780731661
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While PAC-Bayes is now an established learning framework for light-tailed losses (\emph{e.g.}, subgaussian or subexponential), its extension to the case of heavy-tailed losses remains largely uncharted and has attracted a growing interest in recent years. We contribute PAC-Bayes generalisation bounds for heavy-tailed losses under the sole assumption of bounded variance of the loss function. Under that assumption, we extend previous results from \citet{kuzborskij2019efron}. Our key technical contribution is exploiting an extention of Markov's inequality for supermartingales. Our proof technique unifies and extends different PAC-Bayesian frameworks by providing bounds for unbounded martingales as well as bounds for batch and online learning with heavy-tailed losses.
• Abstract（参考訳）: PAC-Bayesは現在、軽傷の学習フレームワークとして確立されている(例えば、準ガウス的、亜専門的)が、重傷のケースへの拡張は、ほとんど達成されていないままであり、近年は関心が高まりつつある。 我々は,損失関数の有界分散を前提に,重み付き損失に対するPAC-Bayesの一般化に寄与する。 この仮定の下では、以前の結果を \citet{kuzborskij2019efron} から拡張する。 我々の重要な技術的貢献は、マルコフの不等式をスーパーマーチンガレットに利用することである。 我々の証明手法は,未限定のマルチンゲールに対する境界と,重み付き損失を伴うバッチおよびオンライン学習のための境界を提供することにより,様々なpac-ベイズフレームワークを統一し拡張する。

関連論文リスト

• Misclassification excess risk bounds for PAC-Bayesian classification via convexified loss [0.0]
  PAC-Bayesian境界は、機械学習で新しい学習アルゴリズムを設計するための貴重なツールである。 本稿では、一般化の観点から、PAC-ベイズ境界に頼るのではなく、予想における相対的境界を利用する方法を示す。
  論文  参考訳（メタデータ） (2024-08-16T11:41:06Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• A note on generalization bounds for losses with finite moments [28.102352176005514]
  本論文は,有界分散を有する損失に対して高確率PAC-Bayesを導出する。 結果は、期待と単線PAC-Bayesの保証にまで拡張される。
  論文  参考訳（メタデータ） (2024-03-25T12:15:55Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
  PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。 私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
  論文  参考訳（メタデータ） (2023-02-07T12:11:59Z)
• Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
  本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。 Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T18:59:30Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets [98.74153364118898]
  本稿では,長距離クラス分布を示す多ラベル認識問題に対して,分散ベース損失と呼ばれる新たな損失関数を提案する。 Distribution-Balanced Lossは、標準的なバイナリのクロスエントロピー損失に対する2つの重要な修正を通じて、これらの問題に取り組む。 パスカルVOCとCOCOの両方の実験により、この新しい損失関数で訓練されたモデルは、大幅な性能向上を達成できた。
  論文  参考訳（メタデータ） (2020-07-19T11:50:10Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)
• PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
  非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。 これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
  論文  参考訳（メタデータ） (2020-06-12T15:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。