論文の概要: How Tight Can PAC-Bayes be in the Small Data Regime?

• arxiv url: http://arxiv.org/abs/2106.03542v1
• Date: Mon, 7 Jun 2021 12:11:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:23:23.054628
• Title: How Tight Can PAC-Bayes be in the Small Data Regime?
• Title（参考訳）: PAC-Bayesはどのようにして小さなデータレジームに入るのか?
• Authors: Andrew Y. K. Foong, Wessel P. Bruinsma, David R. Burt, Richard E. Turner
• Abstract要約: PAC-Bayesとテストセット境界は、小さなデータセットに対して作成できる。 PAC-Bayes境界は、よく用いられるチャーノフテストセット境界と驚くほど競合することを示した。 最もシャープなテストセット境界は、我々が考慮しているPAC-Bayes境界よりも、一般化誤差のより良い保証につながる。
• 参考スコア（独自算出の注目度）: 39.15172162668061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the question: Given a small number of datapoints, for example N = 30, how tight can PAC-Bayes and test set bounds be made? For such small datasets, test set bounds adversely affect generalisation performance by discarding data. In this setting, PAC-Bayes bounds are especially attractive, due to their ability to use all the data to simultaneously learn a posterior and bound its generalisation risk. We focus on the case of i.i.d. data with a bounded loss and consider the generic PAC-Bayes theorem of Germain et al. (2009) and Begin et al. (2016). While their theorem is known to recover many existing PAC-Bayes bounds, it is unclear what the tightest bound derivable from their framework is. Surprisingly, we show that for a fixed learning algorithm and dataset, the tightest bound of this form coincides with the tightest bound of the more restrictive family of bounds considered in Catoni (2007). In contrast, in the more natural case of distributions over datasets, we give examples (both analytic and numerical) showing that the family of bounds in Catoni (2007) can be suboptimal. Within the proof framework of Germain et al. (2009) and Begin et al. (2016), we establish a lower bound on the best bound achievable in expectation, which recovers the Chernoff test set bound in the case when the posterior is equal to the prior. Finally, to illustrate how tight these bounds can potentially be, we study a synthetic one-dimensional classification task in which it is feasible to meta-learn both the prior and the form of the bound to obtain the tightest PAC-Bayes and test set bounds possible. We find that in this simple, controlled scenario, PAC-Bayes bounds are surprisingly competitive with comparable, commonly used Chernoff test set bounds. However, the sharpest test set bounds still lead to better guarantees on the generalisation error than the PAC-Bayes bounds we consider.
• Abstract（参考訳）: 例えば、N = 30 のような少数のデータポイントを与えられた場合、PAC-Bayes とテストセット境界はどの程度厳密か? このような小さなデータセットの場合、テストセット境界はデータを捨てることで一般化性能に悪影響を及ぼす。 この設定では、PAC-Bayes境界は、すべてのデータを同時に学習し、その一般化リスクを束縛する能力のため、特に魅力的である。 i.i.d.の場合に焦点を当てる。 有界な損失を持つデータとgermain et alの一般的なpac-bayes定理を考える。 2009年)とBegin et al。 (2016). 彼らの定理は多くの既存のPAC-ベイズ境界を復元することが知られているが、彼らのフレームワークから最も厳密な境界が何であるかは明らかではない。 驚くべきことに、固定学習アルゴリズムとデータセットでは、この形式の最も厳密な境界は、カトーニ (2007) で考慮されたより制限的な境界の族の最強境界と一致する。 対照的に、データセット上の分布のより自然な場合、カトニ (2007) における境界の族が準最適であることを示す例(解析的および数値的)を挙げる。 Germainらによる証明フレームワーク内にある。 2009年)とBegin et al。 (2016) では, 後方が先行値と等しい場合に有界なチャーノフ検定セットを回収する, 期待できる最良有界上の下限を定めている。 最後に,これらの境界がいかに緊密であるかを説明するために,最強のPAC-Bayesおよびテストセット境界を得るための境界の事前および形の両方をメタ学習することが可能な合成一次元分類タスクについて検討する。 この単純で制御されたシナリオでは、PAC-Bayes境界は、よく使われるチャーノフテストセット境界と驚くほど競合する。 しかしながら、最も鋭いテストセット境界は、我々が検討するpac-bayes境界よりも、一般化エラーの保証が向上する。

関連論文リスト

• Better-than-KL PAC-Bayes Bounds [23.87003743389573]
  我々は,新しいKLの分岐と密接な結びつきを達成できることを実証した。 我々の結果は、既存のPAC-Bayes境界と非KL分岐は、KLよりも厳密に優れていることが分かっていないという点において、第一種である。
  論文  参考訳（メタデータ） (2024-02-14T14:33:39Z)
• PAC-Bayes-Chernoff bounds for unbounded losses [1.9799527196428246]
  我々は,新しいPAC-Bayesオラクルを導入する。 この結果は、Clam'er-Chernoff 境界の PAC-Bayesian 版として理解することができる。 我々は,多くのPAC-Bayes境界における自由パラメータの正確な最適化が自然に可能であることを示す。
  論文  参考訳（メタデータ） (2024-01-02T10:58:54Z)
• Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
  我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。 本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
  論文  参考訳（メタデータ） (2023-10-27T09:16:58Z)
• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• A unified recipe for deriving (time-uniform) PAC-Bayes bounds [31.921092049934654]
  PAC-ベイジアン一般化境界を導出するための統一的枠組みを提案する。 私たちの境界は任意の時効値(すなわち、時間ユニフォーム)であり、すべての停止時間を保持することを意味する。
  論文  参考訳（メタデータ） (2023-02-07T12:11:59Z)
• Lower Bounds for Learning in Revealing POMDPs [88.23337313766355]
  本稿では, 難易度の高い環境下での強化学習(RL)の基本的限界について検討する。 Emphmulti-steping POMDPs に対して、潜伏状態空間依存はサンプル複雑性において少なくとも$Omega(S1.5)$であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T18:59:30Z)
• Geometry of Banach spaces: a new route towards Position Based Cryptography [65.51757376525798]
  我々は幾何学的機能解析の観点から位置ベース量子暗号(PBQC)について検討し,その量子ゲームとの関係について考察した。 私たちが関心を持っている主な質問は、PBQCプロトコルのセキュリティを損なうために、攻撃者の連合が共有しなければならない、最適な絡み合いの量を求めることです。 より複雑なバナッハ空間の型プロパティの理解は、仮定を捨て、我々のプロトコルを攻撃するのに使用されるリソースに条件のない低い境界をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-03-30T13:55:11Z)
• A Limitation of the PAC-Bayes Framework [32.24251308425503]
  我々はPAC-Bayesフレームワークの制限を提示する。 PAC-Bayes解析には適さない簡単な学習課題を実演する。
  論文  参考訳（メタデータ） (2020-06-24T06:36:00Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)
• Best Arm Identification for Cascading Bandits in the Fixed Confidence Setting [81.70513857417106]
  CascadeBAIを設計し、分析する。これは、$K$アイテムのベストセットを見つけるアルゴリズムである。 CascadeBAIの時間的複雑さの上限は、決定的な分析課題を克服することによって導かれる。 その結果,カスケードBAIの性能は,時間的複雑性の低い境界の導出により,いくつかの実践的状況において最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T16:47:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。