論文の概要: Online-to-PAC Conversions: Generalization Bounds via Regret Analysis

• arxiv url: http://arxiv.org/abs/2305.19674v2
• Date: Thu, 17 Oct 2024 10:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:17:13.549752
• Title: Online-to-PAC Conversions: Generalization Bounds via Regret Analysis
• Title（参考訳）: オンライン-PAC変換:Regret解析による一般化境界
• Authors: Gábor Lugosi, Gergely Neu,
• Abstract要約: 私たちは「一般化ゲーム」と呼ばれるオンライン学習ゲームを構築します。 本ゲームにおけるオンライン学習アルゴリズムの存在は,統計的学習アルゴリズムの一般化誤差に制約があることを示唆する。
• 参考スコア（独自算出の注目度）: 13.620177497267791
• License:
• Abstract: We present a new framework for deriving bounds on the generalization bound of statistical learning algorithms from the perspective of online learning. Specifically, we construct an online learning game called the "generalization game", where an online learner is trying to compete with a fixed statistical learning algorithm in predicting the sequence of generalization gaps on a training set of i.i.d. data points. We establish a connection between the online and statistical learning setting by showing that the existence of an online learning algorithm with bounded regret in this game implies a bound on the generalization error of the statistical learning algorithm, up to a martingale concentration term that is independent of the complexity of the statistical learning method. This technique allows us to recover several standard generalization bounds including a range of PAC-Bayesian and information-theoretic guarantees, as well as generalizations thereof.
• Abstract（参考訳）: 本稿では,オンライン学習の観点から,統計的学習アルゴリズムの一般化限界を導出する新しい枠組みを提案する。 具体的には、「一般化ゲーム」と呼ばれるオンライン学習ゲームを構築し、オンライン学習者は、i.d.データポイントのトレーニングセット上の一般化ギャップのシーケンスを予測する固定された統計的学習アルゴリズムと競合しようとしている。 本稿では,このゲームにおけるオンライン学習アルゴリズムの存在が,統計的学習法の複雑さとは無関係なマルティンゲール集中項まで,統計的学習アルゴリズムの一般化誤差に縛られていることを示すことによって,オンライン学習と統計学習の関連性を確立する。 この手法により、PAC-ベイジアンおよび情報理論保証の範囲を含むいくつかの標準一般化境界とそれらの一般化を回復することができる。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• An Information-Theoretic Approach to Generalization Theory [27.87324770020133]
  学習アルゴリズムと学習データ間の依存度を定量化する情報理論境界を解析する。 一定のプライバシーパラメータを持つ場合であっても,最大リークが制限されたアルゴリズムにより一般化が保証されることを示す。
  論文  参考訳（メタデータ） (2024-08-20T10:08:21Z)
• Generalization bounds for mixing processes via delayed online-to-PAC conversions [9.763215134790478]
  統計的学習アルゴリズムの一般化誤差を非i.d.設定で検討する。 我々は,遅延フィードバックによるオンライン学習の削減に基づく,このシナリオの分析フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-06-18T13:31:15Z)
• Structured Prediction in Online Learning [66.36004256710824]
  オンライン学習環境における構造化予測のための理論的・アルゴリズム的枠組みについて検討する。 このアルゴリズムは教師付き学習環境からの最適アルゴリズムの一般化であることを示す。 本稿では,非定常データ分布,特に逆データを含む2番目のアルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2024-06-18T07:45:02Z)
• Zero-Shot Generalization during Instruction Tuning: Insights from Similarity and Granularity [84.12126298229866]
  命令チューニング中のゼロショット一般化は非常に早い時期に行われることを示す。 また、「タスク」の制約を伴わずに、命令チューニング中に非常によく似た、きめ細かなトレーニングデータに遭遇することで、より一般化できることを示す。 インストラクションチューニング中のゼロショット一般化は、インスタンスレベルでのトレーニングとテストデータ間の類似性に基づく一般化の形式であることを示す。
  論文  参考訳（メタデータ） (2024-06-17T16:40:21Z)
• Generalization Bounds for Dependent Data using Online-to-Batch Conversion [0.6144680854063935]
  従属データ設定における統計的学習者の一般化誤差は、統計学習者の一般化誤差と同値であることを示す。 我々の証明技術は、Wassersteinに基づくオンライン学習アルゴリズムの安定性の新しい概念を定義することを含む。
  論文  参考訳（メタデータ） (2024-05-22T14:07:25Z)
• An MRP Formulation for Supervised Learning: Generalized Temporal Difference Learning Models [20.314426291330278]
  従来の統計的学習では、データポイントは独立して同じ分布(d)であると仮定される。 本稿では、データポイントを相互接続したものとして認識し、データモデリングにマルコフ報酬プロセス(MRP)を用いる、対照的な視点を示す。 我々は、強化学習(RL)における政治政策評価問題として、典型的教師付き学習を再構成し、一般化時間差学習アルゴリズム(TD)を解法として導入する。
  論文  参考訳（メタデータ） (2024-04-23T21:02:58Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Tighter Generalization Bounds for Iterative Differentially Private Learning Algorithms [95.73230376153872]
  本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。 我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。 次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2020-07-18T09:12:03Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• A Modern Introduction to Online Learning [15.974402990630402]
  オンライン学習(オンライン学習)とは、最悪の場合における後悔の最小化の枠組みを指す。 凸損失を伴うオンライン学習のための一階と二階のアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2019-12-31T08:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。