論文の概要: Learning via Wasserstein-Based High Probability Generalisation Bounds
- arxiv url: http://arxiv.org/abs/2306.04375v1
- Date: Wed, 7 Jun 2023 12:17:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-08 14:41:08.557353
- Title: Learning via Wasserstein-Based High Probability Generalisation Bounds
- Title（参考訳）: wasserstein-based high probability generalization boundsによる学習
- Authors: Paul Viallard, Maxime Haddouche, Umut Simsekli, Benjamin Guedj
- Abstract要約: 人口リスクや一般化ギャップの上限の最小化は、構造的リスク最小化(SRM)に広く利用されている。
近年、PAC-ベイズ境界におけるKLの発散をワッサーシュタイン距離に置き換える研究が試みられている。
本研究では、この研究の行に寄与し、ワッサーシュタインをベースとしたPAC-ベイジアン一般化は、独立かつ同一に分散されたデータによるバッチ学習と、潜在的に非i.d.データによるオンライン学習の両方に対して有意であることを示す。
- 参考スコア（独自算出の注目度）: 27.018298263782558
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Minimising upper bounds on the population risk or the generalisation gap has
been widely used in structural risk minimisation (SRM) - this is in particular
at the core of PAC-Bayesian learning. Despite its successes and unfailing surge
of interest in recent years, a limitation of the PAC-Bayesian framework is that
most bounds involve a Kullback-Leibler (KL) divergence term (or its
variations), which might exhibit erratic behavior and fail to capture the
underlying geometric structure of the learning problem - hence restricting its
use in practical applications. As a remedy, recent studies have attempted to
replace the KL divergence in the PAC-Bayesian bounds with the Wasserstein
distance. Even though these bounds alleviated the aforementioned issues to a
certain extent, they either hold in expectation, are for bounded losses, or are
nontrivial to minimize in an SRM framework. In this work, we contribute to this
line of research and prove novel Wasserstein distance-based PAC-Bayesian
generalisation bounds for both batch learning with independent and identically
distributed (i.i.d.) data, and online learning with potentially non-i.i.d.
data. Contrary to previous art, our bounds are stronger in the sense that (i)
they hold with high probability, (ii) they apply to unbounded (potentially
heavy-tailed) losses, and (iii) they lead to optimizable training objectives
that can be used in SRM. As a result we derive novel Wasserstein-based
PAC-Bayesian learning algorithms and we illustrate their empirical advantage on
a variety of experiments.
- Abstract（参考訳）: 人口リスクや一般化ギャップの上限の最小化は、構造的リスク最小化(SRM)において広く用いられている。
PAC-Bayesian フレームワークの制限は、近年成功し、興味をそそられていないものの、ほとんどの境界は KL (Kullback-Leibler) の発散項を伴っており、これは不規則な振る舞いを示し、学習問題の基盤となる幾何学的構造を捉えることができず、実用的な用途での使用を制限するものである。
治療薬として、最近の研究は、PAC-ベイズ境界におけるKLの発散をワッサーシュタイン距離に置き換えようと試みている。
これらの境界は、上記の問題をある程度緩和するが、期待を保ち、有界な損失を期待するか、SRMフレームワークで最小化するのは自明である。
本研究では,この一連の研究に寄与し,独立分散データと同一分散データ(i.i.d.データ)を用いたバッチ学習と,非i.i.d.データによるオンライン学習の両方に対して,新しいwasserstein距離ベースpac-ベイズ一般化境界を証明した。
従来の芸術とは対照的に、我々の限界はより強い。
(i)高い確率で保持する。
(ii)無制限(潜在的に重み付き)の損失に当てはまること、及び
(iii)srmで使用できる最適化可能なトレーニング目標に導く。
その結果、新しいワッサーシュタインに基づくPAC-ベイジアン学習アルゴリズムが導出され、様々な実験においてその経験的優位性を示す。
関連論文リスト
- Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds [0.8039067099377079]
我々は PAC-Bayesian 理論を多視点学習に拡張し、R'enyi divergence に基づいた新しい一般化境界を導入する。
これらの境界は、R'enyi の発散の柔軟性を生かして、伝統的な Kullback-Leibler の発散に基づく代替となる。
また,第1次および第2次オラクルPAC-Bayesian境界を提案し,Cバウンドをマルチビュー設定に拡張する。
論文 参考訳（メタデータ） (2024-11-09T20:25:47Z) - PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。
我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
論文 参考訳（メタデータ） (2024-01-02T10:58:54Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Offline Stochastic Shortest Path: Learning, Evaluation and Towards
Optimality [57.91411772725183]
本稿では,状態空間と動作空間が有限である場合のオフライン最短経路問題について考察する。
オフラインポリシ評価(OPE)とオフラインポリシ学習タスクの両方を扱うための,シンプルな値ベースアルゴリズムを設計する。
これらの単純なアルゴリズムの解析は、極小値に近い最悪のケース境界を示唆する強いインスタンス依存境界をもたらす。
論文 参考訳（メタデータ） (2022-06-10T07:44:56Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳（メタデータ） (2022-02-08T16:39:57Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳（メタデータ） (2021-03-08T23:10:33Z) - Instance-Dependent Complexity of Contextual Bandits and Reinforcement
Learning: A Disagreement-Based Perspective [104.67295710363679]
古典的なマルチアームバンディット問題において、インスタンス依存アルゴリズムは、ベストとセカンドベストのアーム間のギャップで「容易」な問題のパフォーマンスを向上させる。
我々は、インスタンス依存の後悔境界を得るのに十分かつ必要である複雑性尺度のファミリーを導入する。
次に、可能な限りギャップに適応する新しいオラクル効率アルゴリズムを導入し、最悪の場合にはミニマックスレートを得る。
論文 参考訳（メタデータ） (2020-10-07T01:33:06Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳（メタデータ） (2020-06-23T14:30:24Z) - PAC-Bayes unleashed: generalisation bounds with unbounded losses [12.078257783674923]
非有界損失関数を持つ学習問題に対する新しいPAC-Bayesian一般化法を提案する。
これにより、PAC-Bayes学習フレームワークの妥当性と適用性が拡張される。
論文 参考訳（メタデータ） (2020-06-12T15:55:46Z) - Probably Approximately Correct Constrained Learning [135.48447120228658]
我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。
PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。
このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
論文 参考訳（メタデータ） (2020-06-09T19:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。