論文の概要: User-friendly introduction to PAC-Bayes bounds

• arxiv url: http://arxiv.org/abs/2110.11216v6
• Date: Fri, 28 Feb 2025 07:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:38:50.095648
• Title: User-friendly introduction to PAC-Bayes bounds
• Title（参考訳）: PAC-Bayes境界へのユーザフレンドリーな導入
• Authors: Pierre Alquier,
• Abstract要約: 統計的学習理論では、手続きの一般化能力(PAC-Bayesian あるいは PAC-Bayes bounds)を理解するために設計された一連のツールが存在する。 例えば NIPS 2017 では PAC-Bayes に関するワークショップ "(ほぼ) 50 Shades of Bayesian Learning: PAC-Bayesian trend and insights" があった。 PAC-Bayes理論の初歩的な導入はいまだに欠けている。
• 参考スコア（独自算出の注目度）: 4.612289321094512
• License:
• Abstract: Aggregated predictors are obtained by making a set of basic predictors vote according to some weights, that is, to some probability distribution. Randomized predictors are obtained by sampling in a set of basic predictors, according to some prescribed probability distribution. Thus, aggregated and randomized predictors have in common that they are not defined by a minimization problem, but by a probability distribution on the set of predictors. In statistical learning theory, there is a set of tools designed to understand the generalization ability of such procedures: PAC-Bayesian or PAC-Bayes bounds. Since the original PAC-Bayes bounds of D. McAllester, these tools have been considerably improved in many directions (we will for example describe a simplified version of the localization technique of O. Catoni that was missed by the community, and later rediscovered as "mutual information bounds"). Very recently, PAC-Bayes bounds received a considerable attention: for example there was workshop on PAC-Bayes at NIPS 2017, "(Almost) 50 Shades of Bayesian Learning: PAC-Bayesian trends and insights", organized by B. Guedj, F. Bach and P. Germain. One of the reason of this recent success is the successful application of these bounds to neural networks by G. Dziugaite and D. Roy. An elementary introduction to PAC-Bayes theory is still missing. This is an attempt to provide such an introduction.
• Abstract（参考訳）: 集約予測器は、基本的な予測器の集合をいくつかの重み、すなわちある確率分布に応じて投票することによって得られる。 ランダム化予測器は、所定の確率分布に従って、基本的な予測器の集合をサンプリングすることによって得られる。 したがって、集約されたランダム化された予測器は、最小化問題ではなく、予測器の集合上の確率分布によって定義される。 統計的学習理論では、PAC-Bayesian(英語版)あるいはPAC-Bayes(英語版)境界(英語版)と呼ばれる、そのような手順の一般化能力を理解するために設計された一連のツールが存在する。 D. McAllester のオリジナルの PAC-Bayes 境界以来、これらのツールは様々な方向に大幅に改善されてきた(例えば、O. Catoni のローカライゼーションテクニックの単純化版をコミュニティによって見逃し、後に「ミューチュアル情報境界」として再発見された)。 例えば NIPS 2017 では,B. Guedj,F. Bach,P. Germain 両氏が主催した "(Almost) 50 Shades of Bayesian Learning: PAC-Bayesian trend and insights" というワークショップがあった。 この最近の成功の理由の1つは、G. Dziugaite と D. Roy によるニューラルネットワークへのこれらの境界の適用の成功である。 PAC-Bayes理論の初歩的な導入はいまだに欠けている。 これはそのような紹介を提供する試みである。

関連論文リスト

• PAC Prediction Sets Under Label Shift [52.30074177997787]
  予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。 ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。 提案手法を5つのデータセットで評価する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:57Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective [25.157282476221482]
  我々は、PAC-ベイズ理論がLTHと一般化行動の関係を明確に理解できることを示した。 PAC-Bayesバウンダリをスパイク・アンド・スラブ分布を用いて,入賞チケットの分析を行う。
  論文  参考訳（メタデータ） (2022-05-15T15:58:27Z)
• Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers [46.38465729190199]
  PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。 この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
  論文  参考訳（メタデータ） (2022-03-03T17:11:07Z)
• A General Framework for the Practical Disintegration of PAC-Bayesian Bounds [2.516393111664279]
  我々は、分解された境界を与えるために原性を持つ新しいPAC-ベイズ一般化境界を導入する。 我々の境界は容易に最適化でき、学習アルゴリズムの設計に使うことができる。
  論文  参考訳（メタデータ） (2021-02-17T09:36:46Z)
• A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings [11.711761707845865]
  PAC-Bayesは最近、予測分布の厳密なリスクバウンドを生成する能力に関心を寄せている。 我々は,リスクと過剰リスクの2つの一般化境界を示し,ile予測者の行動に対する洞察を与える。 2つの学習アルゴリズムはこれらの境界から導かれる。
  論文  参考訳（メタデータ） (2020-12-07T15:19:43Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。