論文の概要: Online-to-PAC Conversions: Generalization Bounds via Regret Analysis
- arxiv url: http://arxiv.org/abs/2305.19674v1
- Date: Wed, 31 May 2023 09:15:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 17:40:06.250902
- Title: Online-to-PAC Conversions: Generalization Bounds via Regret Analysis
- Title(参考訳): オンライン-PAC変換:Regret解析による一般化境界
- Authors: G\'abor Lugosi, Gergely Neu
- Abstract要約: 私たちは「一般化ゲーム」と呼ばれるオンライン学習ゲームを構築します。
本ゲームにおけるオンライン学習アルゴリズムの存在は,統計的学習アルゴリズムの一般化誤差に制約があることを示唆する。
- 参考スコア(独自算出の注目度): 12.411844611718958
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new framework for deriving bounds on the generalization bound of
statistical learning algorithms from the perspective of online learning.
Specifically, we construct an online learning game called the "generalization
game", where an online learner is trying to compete with a fixed statistical
learning algorithm in predicting the sequence of generalization gaps on a
training set of i.i.d. data points. We establish a connection between the
online and statistical learning setting by showing that the existence of an
online learning algorithm with bounded regret in this game implies a bound on
the generalization error of the statistical learning algorithm, up to a
martingale concentration term that is independent of the complexity of the
statistical learning method. This technique allows us to recover several
standard generalization bounds including a range of PAC-Bayesian and
information-theoretic guarantees, as well as generalizations thereof.
- Abstract(参考訳): 本稿では,オンライン学習の観点から,統計的学習アルゴリズムの一般化限界を導出する新しい枠組みを提案する。
具体的には、「一般化ゲーム」と呼ばれるオンライン学習ゲームを構築し、オンライン学習者がデータポイントのトレーニングセット上での一般化ギャップのシーケンスを予測するために、固定統計学習アルゴリズムと競い合おうとしている。
本稿では,このゲームにおけるオンライン学習アルゴリズムの存在が,統計的学習法の複雑さとは無関係なマルティンゲール集中項まで,統計的学習アルゴリズムの一般化誤差に縛られていることを示すことによって,オンライン学習と統計学習の関連性を確立する。
この手法により、PAC-ベイジアンおよび情報理論保証の範囲を含むいくつかの標準一般化境界とそれらの一般化を回復することができる。
関連論文リスト
- An MRP Formulation for Supervised Learning: Generalized Temporal Difference Learning Models [20.314426291330278]
従来の統計的学習では、データポイントは独立して同じ分布(d)であると仮定される。
本稿では、データポイントを相互接続したものとして認識し、データモデリングにマルコフ報酬プロセス(MRP)を用いる、対照的な視点を示す。
我々は、強化学習(RL)における政治政策評価問題として、典型的教師付き学習を再構成し、一般化時間差学習アルゴリズム(TD)を解法として導入する。
論文 参考訳(メタデータ) (2024-04-23T21:02:58Z) - Information-Theoretic Generalization Bounds for Transductive Learning
and its Applications [19.38488372616499]
本研究では,トランスダクティブ学習アルゴリズムの一般化ギャップが,学習ラベルと仮説の相互情報によって制限されることを示す。
我々は,新しいPAC-ベイズ境界を導出し,帰納的学習環境下での一般化と損失景観平坦性の関係を構築した。
論文 参考訳(メタデータ) (2023-11-08T09:48:42Z) - Always Valid Risk Monitoring for Online Matrix Completion [9.069953334839019]
オンライン統計学習のパフォーマンス指標として、常に有意な濃度の不等式がますます使われている。
この研究は、オンライン行列完備問題に対して、常に有効なリスク境界プロセスを確立し、考案する。
論文 参考訳(メタデータ) (2022-11-18T17:00:47Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳(メタデータ) (2022-07-01T17:58:29Z) - Generalization Bounds For Meta-Learning: An Information-Theoretic
Analysis [8.028776552383365]
本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。
我々は,MAMLの変種に対するデータ依存の一般化を提供する。
論文 参考訳(メタデータ) (2021-09-29T17:45:54Z) - An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
論文 参考訳(メタデータ) (2021-02-25T19:06:48Z) - Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。
相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文 参考訳(メタデータ) (2020-09-07T16:47:30Z) - Tighter Generalization Bounds for Iterative Differentially Private
Learning Algorithms [95.73230376153872]
本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。
我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。
次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2020-07-18T09:12:03Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-07-08T08:48:56Z) - Probably Approximately Correct Constrained Learning [135.48447120228658]
我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。
PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。
このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
論文 参考訳(メタデータ) (2020-06-09T19:59:29Z) - A Modern Introduction to Online Learning [15.974402990630402]
オンライン学習(オンライン学習)とは、最悪の場合における後悔の最小化の枠組みを指す。
凸損失を伴うオンライン学習のための一階と二階のアルゴリズムを提示する。
論文 参考訳(メタデータ) (2019-12-31T08:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。