論文の概要: A note on generalization bounds for losses with finite moments

• arxiv url: http://arxiv.org/abs/2403.16681v1
• Date: Mon, 25 Mar 2024 12:15:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 14:48:50.936310
• Title: A note on generalization bounds for losses with finite moments
• Title（参考訳）: 有限モーメントをもつ損失に対する一般化境界について
• Authors: Borja Rodríguez-Gálvez, Omar Rivasplata, Ragnar Thobaben, Mikael Skoglund,
• Abstract要約: 本論文は,有界分散を有する損失に対して高確率PAC-Bayesを導出する。 結果は、期待と単線PAC-Bayesの保証にまで拡張される。
• 参考スコア（独自算出の注目度）: 28.102352176005514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the truncation method from Alquier [1] to derive high-probability PAC-Bayes bounds for unbounded losses with heavy tails. Assuming that the $p$-th moment is bounded, the resulting bounds interpolate between a slow rate $1 / \sqrt{n}$ when $p=2$, and a fast rate $1 / n$ when $p \to \infty$ and the loss is essentially bounded. Moreover, the paper derives a high-probability PAC-Bayes bound for losses with a bounded variance. This bound has an exponentially better dependence on the confidence parameter and the dependency measure than previous bounds in the literature. Finally, the paper extends all results to guarantees in expectation and single-draw PAC-Bayes. In order to so, it obtains analogues of the PAC-Bayes fast rate bound for bounded losses from [2] in these settings.
• Abstract（参考訳）: 本稿では,Alquier [1] から高確率 PAC-Bayes 境界を導出するトラクション法について検討する。 p$-次モーメントが有界であると仮定すると、結果として得られる境界は、$p=2$のときのスローレート $1 / \sqrt{n}$ と、$p \to \infty$のときの高速レート $1 / n$ と、その損失は本質的に有界である。 さらに,有界分散を有する損失に対して高確率PAC-Bayesを導出する。 この境界は、文献の以前の境界よりも、信頼パラメータと依存度に指数関数的に依存する。 最後に、本論文は、全ての結果を予測および単線PAC-Bayesの保証に拡張する。 そのため、これらの設定において [2] から有界損失に対して有界な PAC-Bayes 速度のアナログを得る。

関連論文リスト

• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Better-than-KL PAC-Bayes Bounds [23.87003743389573]
  我々は,新しいKLの分岐と密接な結びつきを達成できることを実証した。 我々の結果は、既存のPAC-Bayes境界と非KL分岐は、KLよりも厳密に優れていることが分かっていないという点において、第一種である。
  論文  参考訳（メタデータ） (2024-02-14T14:33:39Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• More PAC-Bayes bounds: From bounded losses, to losses with general tail behaviors, to anytime validity [27.87324770020133]
  我々は、異なる種類の損失に対して、新しい高確率PAC-Bayes境界を提案する。 有界範囲の損失に対して、すべてのパラメータ値に対して一様に保持されるカトーニ境界の強化版を復元する。 より一般的な尾の挙動を持つ損失に対して、2つの新しいパラメータフリー境界を導入する。
  論文  参考訳（メタデータ） (2023-06-21T12:13:46Z)
• A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
  PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。 私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
  論文  参考訳（メタデータ） (2023-02-07T12:11:59Z)
• PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales [5.799808780731661]
  PACベイズ一般化バウンダリを重み付き損失に貢献する。 我々の重要な技術的貢献は、マルコフの不等式をスーパーマーチングラールに利用することである。 我々の証明技術は、様々なPAC-Bayesianフレームワークを統一し拡張する。
  論文  参考訳（メタデータ） (2022-10-03T13:38:23Z)
• Stochastic Shortest Path: Minimax, Parameter-Free and Towards Horizon-Free Regret [144.6358229217845]
  エージェントが目標状態に到達する前に蓄積される期待コストを最小限に抑えるために,最短経路(ssp)設定で学習する問題について検討する。 我々は,経験的遷移を慎重に歪曲し,探索ボーナスで経験的コストを摂動する新しいモデルベースアルゴリズムEB-SSPを設計する。 私達はEB-SSPが$widetildeO(B_star sqrtS A K)$のミニマックスの後悔率を達成することを証明します。
  論文  参考訳（メタデータ） (2021-04-22T17:20:48Z)
• Fast Rates for the Regret of Offline Reinforcement Learning [69.23654172273085]
  無限水平割引決定プロセス(MDP)における固定行動ポリシーによって生成されたオフラインデータからの強化学習の後悔について検討する。 最適品質関数 $Q*$ に対する任意の推定が与えられたとき、定義するポリシーの後悔は、$Q*$-estimate の点収束率の指数によって与えられる速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-01-31T16:17:56Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• Relative Deviation Margin Bounds [55.22251993239944]
  我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。 有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
  論文  参考訳（メタデータ） (2020-06-26T12:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。