論文の概要: PAC-Bayes Analysis Beyond the Usual Bounds
- arxiv url: http://arxiv.org/abs/2006.13057v3
- Date: Mon, 28 Dec 2020 18:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 22:33:03.446078
- Title: PAC-Bayes Analysis Beyond the Usual Bounds
- Title（参考訳）: 通常の境界を超えたpac-bayes解析
- Authors: Omar Rivasplata, Ilja Kuzborskij, Csaba Szepesvari, John Shawe-Taylor
- Abstract要約: 本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
- 参考スコア（独自算出の注目度）: 16.76187007910588
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We focus on a stochastic learning model where the learner observes a finite
set of training examples and the output of the learning process is a
data-dependent distribution over a space of hypotheses. The learned
data-dependent distribution is then used to make randomized predictions, and
the high-level theme addressed here is guaranteeing the quality of predictions
on examples that were not seen during training, i.e. generalization. In this
setting the unknown quantity of interest is the expected risk of the
data-dependent randomized predictor, for which upper bounds can be derived via
a PAC-Bayes analysis, leading to PAC-Bayes bounds.
Specifically, we present a basic PAC-Bayes inequality for stochastic kernels,
from which one may derive extensions of various known PAC-Bayes bounds as well
as novel bounds. We clarify the role of the requirements of fixed 'data-free'
priors, bounded losses, and i.i.d. data. We highlight that those requirements
were used to upper-bound an exponential moment term, while the basic PAC-Bayes
theorem remains valid without those restrictions. We present three bounds that
illustrate the use of data-dependent priors, including one for the unbounded
square loss.
- Abstract（参考訳）: 本研究では,学習者が学習例の有限集合を観察し,学習過程の出力が仮説空間上のデータ依存分布である確率的学習モデルに焦点を当てる。
学習したデータ依存分布を用いてランダムな予測を行い、ここでの高レベルなテーマは、トレーニング中に見られなかった例、すなわち一般化に対する予測の質を保証することである。
この設定において、未知の量の興味はデータ依存ランダム化予測器の期待されるリスクであり、その上限はPAC-Bayes解析によって導き出され、PAC-Bayes境界となる。
具体的には、確率核に対する基本的なPAC-Bayesの不等式を示し、そこから様々な既知のPAC-Bayes境界の拡張と新しい境界を導出することができる。
固定された「データフリー」事前要求、有界損失、すなわちデータの役割を明らかにする。
これらの条件は指数モーメント項の上界に使われたが、pac-ベイズ定理はこれらの制限なしでは有効である。
有界二乗損失(unbounded square loss)を含む,データ依存の先行値の使用を示す境界を3つ提示する。
関連論文リスト
- A finite-sample generalization bound for stable LPV systems [0.0]
安定な連続時間線形パラメータ可変(LPV)システムに対するPACバウンダリを導出する。
我々の境界は、選択されたLPV系のH2ノルムに依存するが、信号が考慮される時間間隔に依存しない。
論文 参考訳（メタデータ） (2024-05-16T12:42:36Z) - Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets [25.250314934981233]
我々はまず,データ依存仮説セットを出力するトレーニングアルゴリズムを前提として,厳密な方法でPAC-Bayesianフレームワークを適用した。
このアプローチにより、多くのコンテキストに適用可能な、データ依存のバウンダリを証明できます。
論文 参考訳（メタデータ） (2024-04-26T14:28:18Z) - Score Matching-based Pseudolikelihood Estimation of Neural Marked
Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。
具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。
提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文 参考訳（メタデータ） (2023-10-25T02:37:51Z) - Adversarial Resilience in Sequential Prediction via Abstention [46.80218090768711]
本研究では,クリーンラベルの逆数例を注入できる逆数設定における逐次予測の問題について検討する。
そこで本研究では,純粋と完全対向的な設定の間に位置する逐次予測の新しいモデルを提案する。
論文 参考訳（メタデータ） (2023-06-22T17:44:22Z) - Robust PAC$^m$: Training Ensemble Models Under Misspecification and
Outliers [46.38465729190199]
PAC-ベイズ理論は、ベイズ学習によって最小化された自由エネルギー基準が、ギブス予想器の一般化誤差に束縛されていることを証明している。
この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
論文 参考訳（メタデータ） (2022-03-03T17:11:07Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳（メタデータ） (2022-01-26T19:59:14Z) - User-friendly introduction to PAC-Bayes bounds [0.6599344783327052]
統計的学習理論では、手続きの一般化能力(PAC-Bayesian あるいは PAC-Bayes bounds)を理解するために設計された一連のツールが存在する。
例えば、B. Guedj氏、F. Bach氏、P. Germain氏による"PAC-Bayesian trend and insights"というワークショップがある。
論文 参考訳（メタデータ） (2021-10-21T15:50:05Z) - Distribution-free uncertainty quantification for classification under
label shift [105.27463615756733]
2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。
まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。
これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
論文 参考訳（メタデータ） (2021-03-04T20:51:03Z) - On the role of data in PAC-Bayes bounds [24.53731903804468]
PAC-ベイズ境界は、しばしばクルバック-リーブラーの後方と後方の分岐である。
我々は、前者に基づく境界が準最適であることを示す。
データの使用は、空き境界と非空き境界の差を意味する可能性がある。
論文 参考訳（メタデータ） (2020-06-19T02:03:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。