論文の概要: PAC-Bayes with Unbounded Losses through Supermartingales
- arxiv url: http://arxiv.org/abs/2210.00928v1
- Date: Mon, 3 Oct 2022 13:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 14:41:28.257372
- Title: PAC-Bayes with Unbounded Losses through Supermartingales
- Title(参考訳): PAC-Bayes with Unbounded Losses through Supermartingales
- Authors: Maxime Haddouche and Benjamin Guedj
- Abstract要約: 我々はマルコフの不等式を超行列に対して拡張し、非有界損失を保留する新しいPAC-ベイジアン一般化を確立するために使用する。
この境界が、既存のPAC-ベイズ境界を拡張し、統一し、さらに改善することを示します。
- 参考スコア(独自算出の注目度): 5.799808780731661
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While PAC-Bayes is now an established learning framework for bounded losses,
its extension to the case of unbounded losses (as simple as the squared loss on
an unbounded space) remains largely uncharted and has attracted a growing
interest in recent years. We contribute to this line of work by developing an
extention of Markov's inequality for supermartingales, which we use to
establish a novel PAC-Bayesian generalisation bound holding for unbounded
losses. We show that this bound extends, unifies and even improves on existing
PAC-Bayesian bounds.
- Abstract(参考訳): 現在、PAC-Bayesは有界損失のための確立された学習フレームワークであるが、非有界損失(非有界損失の場合の2乗損失のような単純さ)への拡張は、ほとんど達成されていないままであり、近年は関心が高まりつつある。
我々は、マルコフの不等式を超マルティンガレに対して拡張することにより、この行に寄与し、無界損失を保留する新しいPAC-ベイジアン一般化を確立するのに使用される。
この境界は、既存のPAC-ベイズ境界を拡張し、統一し、さらに改善することを示す。
関連論文リスト
- PAC-Bayes-Chernoff bounds for unbounded losses [1.9799527196428246]
我々は,新しいPAC-Bayesオラクルを導入する。
この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。
我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
論文 参考訳(メタデータ) (2024-01-02T10:58:54Z) - A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。
私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
論文 参考訳(メタデータ) (2023-02-07T12:11:59Z) - Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。
Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
論文 参考訳(メタデータ) (2023-02-02T18:59:30Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳(メタデータ) (2021-07-03T23:17:26Z) - PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified
Bayesian Regime [75.19403612525811]
この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。
実証的研究は予測分布の改善を示す。
論文 参考訳(メタデータ) (2020-10-19T16:08:34Z) - Non-exponentially weighted aggregation: regret bounds for unbounded loss
functions [8.22379888383833]
オンライン最適化の問題は、一般の、おそらくは非有界な損失関数によって解決される。
損失が有界であるとき、指数的に重み付けされた集約戦略(EWA)は、$T$の後に$sqrtT$を後悔する。
論文 参考訳(メタデータ) (2020-09-07T11:09:08Z) - Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed
Datasets [98.74153364118898]
本稿では,長距離クラス分布を示す多ラベル認識問題に対して,分散ベース損失と呼ばれる新たな損失関数を提案する。
Distribution-Balanced Lossは、標準的なバイナリのクロスエントロピー損失に対する2つの重要な修正を通じて、これらの問題に取り組む。
パスカルVOCとCOCOの両方の実験により、この新しい損失関数で訓練されたモデルは、大幅な性能向上を達成できた。
論文 参考訳(メタデータ) (2020-07-19T11:50:10Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳(メタデータ) (2020-06-26T12:37:17Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳(メタデータ) (2020-06-23T14:30:24Z) - PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。
これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文 参考訳(メタデータ) (2020-06-12T15:55:46Z) - Upper Confidence Primal-Dual Reinforcement Learning for CMDP with
Adversarial Loss [145.54544979467872]
マルコフ決定過程(CMDP)に対するオンライン学習の検討
本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。
我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
論文 参考訳(メタデータ) (2020-03-02T05:02:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。