論文の概要: Robust PAC$^m$: Training Ensemble Models Under Model Misspecification
and Outliers
- arxiv url: http://arxiv.org/abs/2203.01859v1
- Date: Thu, 3 Mar 2022 17:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 15:26:11.028587
- Title: Robust PAC$^m$: Training Ensemble Models Under Model Misspecification
and Outliers
- Title(参考訳): ロバストPAC$^m$:モデルミス種別と外乱下でのアンサンブルモデルの訓練
- Authors: Matteo Zecchin, Sangwoo Park, Osvaldo Simeone, Marios Kountouris,
David Gesbert
- Abstract要約: この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。
提案した自由エネルギートレーニング基準は、モデルミススペクテーションとアウトリーチの有害な影響を防止できる予測分布を生成する。
- 参考スコア(独自算出の注目度): 46.38465729190199
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Standard Bayesian learning is known to have suboptimal generalization
capabilities under model misspecification and in the presence of outliers.
PAC-Bayes theory demonstrates that the free energy criterion minimized by
Bayesian learning is a bound on the generalization error for Gibbs predictors
(i.e., for single models drawn at random from the posterior) under the
assumption of sampling distributions uncontaminated by outliers. This viewpoint
provides a justification for the limitations of Bayesian learning when the
model is misspecified, requiring ensembling, and when data is affected by
outliers. In recent work, PAC-Bayes bounds - referred to as PAC$^m$ - were
derived to introduce free energy metrics that account for the performance of
ensemble predictors, obtaining enhanced performance under misspecification.
This work presents a novel robust free energy criterion that combines the
generalized logarithm score function with PAC$^m$ ensemble bounds. The proposed
free energy training criterion produces predictive distributions that are able
to concurrently counteract the detrimental effects of model misspecification
and outliers.
- Abstract(参考訳): 標準ベイズ学習は、モデル不特定性および外れ値の存在下で最適部分一般化能力を有することが知られている。
pac-bayes理論は、ベイズ学習によって最小化される自由エネルギーの基準が、異常値によって汚染されないサンプリング分布の仮定の下でギブス予測器(すなわち、後からランダムに描画された単一モデル)の一般化誤差に縛られることを証明している。
この視点は、モデルが誤って特定され、アンサンブルが必要であり、データが外れ値に影響された場合にベイズ学習の限界を正当化する。
最近の研究で、PAC-Bayes境界(PAC$^m$)は、アンサンブル予測器の性能を考慮に入れた自由エネルギー指標を導入し、不特定条件下での性能を向上させるために導出された。
本研究は,一般化対数スコア関数とpac$^m$アンサンブル境界を組み合わせた,新しいロバストな自由エネルギー基準を提案する。
提案する自由エネルギー訓練基準は,モデル不特定化と異常値の有害な効果を相殺する予測分布を生成する。
関連論文リスト
- Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳(メタデータ) (2022-02-02T20:11:33Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Robust Generalised Bayesian Inference for Intractable Likelihoods [9.77823546576708]
スタインの不一致を損失関数として一般化ベイズ推論を考える。
これは、確率が難解な正規化定数を含む応用によって動機づけられる。
後肢の整合性, 正規性, 偏在性を示し, これらの特性がスタインの相違の選択によってどのように影響するかを明らかにする。
論文 参考訳(メタデータ) (2021-04-15T10:31:22Z) - Sequential prediction under log-loss and misspecification [47.66467420098395]
累積的後悔の観点から,ログロスに基づく逐次予測の問題を考える。
明確に特定され誤記された症例の累積的後悔が偶然に現れる。
分布自由あるいはPAC後悔を$o(1)$で特徴づける。
論文 参考訳(メタデータ) (2021-01-29T20:28:23Z) - PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。
学習したデータ依存分布はランダム化予測に使用される。
論文 参考訳(メタデータ) (2020-06-23T14:30:24Z) - De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and
Non-smooth Predictors [21.59277717031637]
決定論的非平滑予測(ReLU-nets)のための非ランダム化PACの族を示す。
また、セットサイズやラベルの変更に対する境界の実証的な結果も提示する。
論文 参考訳(メタデータ) (2020-02-23T17:54:07Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z) - On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。
また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2019-04-18T02:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。