論文の概要: A Limitation of the PAC-Bayes Framework

• arxiv url: http://arxiv.org/abs/2006.13508v3
• Date: Fri, 3 Sep 2021 08:07:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 09:13:26.260758
• Title: A Limitation of the PAC-Bayes Framework
• Title（参考訳）: PAC-Bayesフレームワークの限界
• Authors: Roi Livni and Shay Moran
• Abstract要約: 我々はPAC-Bayesフレームワークの制限を提示する。 PAC-Bayes解析には適さない簡単な学習課題を実演する。
• 参考スコア（独自算出の注目度）: 32.24251308425503
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: PAC-Bayes is a useful framework for deriving generalization bounds which was introduced by McAllester ('98). This framework has the flexibility of deriving distribution- and algorithm-dependent bounds, which are often tighter than VC-related uniform convergence bounds. In this manuscript we present a limitation for the PAC-Bayes framework. We demonstrate an easy learning task that is not amenable to a PAC-Bayes analysis. Specifically, we consider the task of linear classification in 1D; it is well-known that this task is learnable using just $O(\log(1/\delta)/\epsilon)$ examples. On the other hand, we show that this fact can not be proved using a PAC-Bayes analysis: for any algorithm that learns 1-dimensional linear classifiers there exists a (realizable) distribution for which the PAC-Bayes bound is arbitrarily large.
• Abstract（参考訳）: PAC-Bayesは、McAllester ('98) によって導入された一般化境界を導出するための有用なフレームワークである。 このフレームワークは、分散およびアルゴリズム依存境界を導出する柔軟性を持ち、vc関連の一様収束境界よりもしばしば密接である。 本稿ではPAC-Bayesフレームワークの制限について述べる。 PAC-Bayes解析には適さない簡単な学習課題を実演する。 特に、1d の線形分類のタスクを考えると、このタスクは $o(\log(1/\delta)/\epsilon)$ の例を使って学習できることはよく知られている。 一方、この事実はPAC-Bayes解析では証明できないことを示し、1次元線形分類器を学習するアルゴリズムには、PAC-Bayes境界が任意に大きい(実現可能な)分布が存在する。

関連論文リスト

• Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
  我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。 我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
  論文  参考訳（メタデータ） (2024-06-18T08:54:04Z)
• Better-than-KL PAC-Bayes Bounds [23.87003743389573]
  我々は,新しいKLの分岐と密接な結びつきを達成できることを実証した。 我々の結果は、既存のPAC-Bayes境界と非KL分岐は、KLよりも厳密に優れていることが分かっていないという点において、第一種である。
  論文  参考訳（メタデータ） (2024-02-14T14:33:39Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [9.987130158432755]
  PAC-Bayes Oracle bound for unbounded loss that extends Cram'er-Chernoff bounds to the PAC-Bayesian set。 我々のアプローチは、多くのPAC-Bayes境界における自由パラメータの正確な最適化など、Cram'er-Chernoff境界の性質を自然に活用する。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
  PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。 私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
  論文  参考訳（メタデータ） (2023-02-07T12:11:59Z)
• PAC Verification of Statistical Algorithms [0.10878040851637999]
  本研究では,PAC学習目標を満たす仮説(機械学習モデル)を対話的証明を用いて検証する,PAC検証の設定を開発する。 我々は、$mathbbR$を超える間隔の和のPAC検証のためのプロトコルを提案し、そのタスクの提案したプロトコルを改善し、より低い境界の$d$への依存と一致させる。 最終結果は,クエリの制約を満たす統計的アルゴリズムの検証のためのプロトコルである。
  論文  参考訳（メタデータ） (2022-11-28T23:57:27Z)
• Bayesian decision-making under misspecified priors with applications to meta-learning [64.38020203019013]
  トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。 性能は不特定な事前条件で優雅に低下することを示す。
  論文  参考訳（メタデータ） (2021-07-03T23:17:26Z)
• Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation [92.3161051419884]
  線形関数近似を用いた強化学習について検討する。 既存のアルゴリズムは、高い確率的後悔と/またはおよそ正当性(PAC)サンプルの複雑さの保証しか持たない。 我々はFLUTEと呼ばれる新しいアルゴリズムを提案し、高い確率で最適ポリシーへの均一PAC収束を享受する。
  論文  参考訳（メタデータ） (2021-06-22T08:48:56Z)
• A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
  我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。 我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
  論文  参考訳（メタデータ） (2021-02-17T09:36:46Z)
• Provably Efficient Reward-Agnostic Navigation with Linear Value Iteration [143.43658264904863]
  我々は、最小二乗値スタイルのアルゴリズムで一般的に使用される、より標準的なベルマン誤差の概念の下での反復が、ほぼ最適値関数の学習において強力なPAC保証を提供することを示す。 そこで本稿では,任意の(線形な)報酬関数に対して,最適に近いポリシーを学習するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-18T04:34:21Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。