論文の概要: Learning via Wasserstein-Based High Probability Generalisation Bounds
- arxiv url: http://arxiv.org/abs/2306.04375v2
- Date: Fri, 27 Oct 2023 08:08:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-30 17:41:42.144415
- Title: Learning via Wasserstein-Based High Probability Generalisation Bounds
- Title（参考訳）: wasserstein-based high probability generalization boundsによる学習
- Authors: Paul Viallard, Maxime Haddouche, Umut \c{S}im\c{s}ekli, Benjamin Guedj
- Abstract要約: 人口リスクや一般化ギャップの上限の最小化は、構造的リスクの最小化に広く利用されている。
ほとんどの境界は、KL(Kullback-Leibler)の発散項(またはその変分項)を含む。
最近の研究は、PAC-ベイズ境界におけるKLの発散をワッサーシュタイン距離に置き換えようとしている。
- 参考スコア（独自算出の注目度）: 16.74864438507713
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Minimising upper bounds on the population risk or the generalisation gap has
been widely used in structural risk minimisation (SRM) -- this is in particular
at the core of PAC-Bayesian learning. Despite its successes and unfailing surge
of interest in recent years, a limitation of the PAC-Bayesian framework is that
most bounds involve a Kullback-Leibler (KL) divergence term (or its
variations), which might exhibit erratic behavior and fail to capture the
underlying geometric structure of the learning problem -- hence restricting its
use in practical applications. As a remedy, recent studies have attempted to
replace the KL divergence in the PAC-Bayesian bounds with the Wasserstein
distance. Even though these bounds alleviated the aforementioned issues to a
certain extent, they either hold in expectation, are for bounded losses, or are
nontrivial to minimize in an SRM framework. In this work, we contribute to this
line of research and prove novel Wasserstein distance-based PAC-Bayesian
generalisation bounds for both batch learning with independent and identically
distributed (i.i.d.) data, and online learning with potentially non-i.i.d.
data. Contrary to previous art, our bounds are stronger in the sense that (i)
they hold with high probability, (ii) they apply to unbounded (potentially
heavy-tailed) losses, and (iii) they lead to optimizable training objectives
that can be used in SRM. As a result we derive novel Wasserstein-based
PAC-Bayesian learning algorithms and we illustrate their empirical advantage on
a variety of experiments.
- Abstract（参考訳）: 人口リスクや一般化ギャップの上限を最小化することは、構造的リスク最小化(srm)において広く用いられてきた。
PAC-Bayesianフレームワークの限界は、その成功と、近年の関心の急激さにもかかわらず、ほとんどの境界がKL(Kullback-Leibler)の発散項(あるいはそのバリエーション)を含んでいることであり、これは不規則な振る舞いを示し、学習問題の基盤となる幾何学的構造を捉えるのに失敗する可能性がある。
治療薬として、最近の研究は、PAC-ベイズ境界におけるKLの発散をワッサーシュタイン距離に置き換えようと試みている。
これらの境界は、上記の問題をある程度緩和するが、期待を保ち、有界な損失を期待するか、SRMフレームワークで最小化するのは自明である。
本研究では,この一連の研究に寄与し,独立分散データと同一分散データ(i.i.d.データ)を用いたバッチ学習と,非i.i.d.データによるオンライン学習の両方に対して,新しいwasserstein距離ベースpac-ベイズ一般化境界を証明した。
従来の芸術とは対照的に、我々の限界はより強い。
(i)高い確率で保持する。
(ii)無制限(潜在的に重み付き)の損失に当てはまること、及び
(iii)srmで使用できる最適化可能なトレーニング目標に導く。
その結果、新しいワッサーシュタインに基づくPAC-ベイジアン学習アルゴリズムが導出され、様々な実験においてその経験的優位性を示す。
関連論文リスト
- It begins with a boundary: A geometric view on probabilistically robust
learning [2.0388938295521575]
我々はそのような方法の1つの新鮮で幾何学的な見方を取る --確率論的ロバスト学習(PRL)
本稿では, PRLの理解のための幾何学的枠組みを提案し, 元の定式化における微妙な欠陥を識別する。
我々は,新しい緩和法と物性を用いた解の存在を証明し,導入したペリメータの局所的限界を検証した。
論文 参考訳（メタデータ） (2023-05-30T06:24:30Z) - An Information-Theoretic Analysis of Bayesian Reinforcement Learning [44.025369660607645]
この定義を,カーネルパラメータが不明なマルコフ決定過程(MDP)としてモデル化した強化学習問題に特化させる。
我々の境界は、Russo と Van Roy による現在の情報理論境界の下から回復できることを示す。
論文 参考訳（メタデータ） (2022-07-18T16:28:01Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Offline Stochastic Shortest Path: Learning, Evaluation and Towards
Optimality [57.91411772725183]
本稿では,状態空間と動作空間が有限である場合のオフライン最短経路問題について考察する。
オフラインポリシ評価(OPE)とオフラインポリシ学習タスクの両方を扱うための,シンプルな値ベースアルゴリズムを設計する。
これらの単純なアルゴリズムの解析は、極小値に近い最悪のケース境界を示唆する強いインスタンス依存境界をもたらす。
論文 参考訳（メタデータ） (2022-06-10T07:44:56Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳（メタデータ） (2022-02-08T16:39:57Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳（メタデータ） (2021-03-08T23:10:33Z) - Instance-Dependent Complexity of Contextual Bandits and Reinforcement
Learning: A Disagreement-Based Perspective [104.67295710363679]
古典的なマルチアームバンディット問題において、インスタンス依存アルゴリズムは、ベストとセカンドベストのアーム間のギャップで「容易」な問題のパフォーマンスを向上させる。
我々は、インスタンス依存の後悔境界を得るのに十分かつ必要である複雑性尺度のファミリーを導入する。
次に、可能な限りギャップに適応する新しいオラクル効率アルゴリズムを導入し、最悪の場合にはミニマックスレートを得る。
論文 参考訳（メタデータ） (2020-10-07T01:33:06Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳（メタデータ） (2020-06-23T14:30:24Z) - PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。
これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文 参考訳（メタデータ） (2020-06-12T15:55:46Z) - Probably Approximately Correct Constrained Learning [135.48447120228658]
我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。
PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。
このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
論文 参考訳（メタデータ） (2020-06-09T19:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。