論文の概要: Robust PAC$^m$: Training Ensemble Models Under Model Misspecification and Outliers

• arxiv url: http://arxiv.org/abs/2203.01859v2
• Date: Tue, 28 Mar 2023 16:34:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 20:14:31.255197
• Title: Robust PAC$^m$: Training Ensemble Models Under Model Misspecification and Outliers
• Title（参考訳）: ロバストPAC$^m$:モデルミス種別と外乱下でのアンサンブルモデルの訓練
• Authors: Matteo Zecchin, Sangwoo Park, Osvaldo Simeone, Marios Kountouris, David Gesbert
• Abstract要約: この研究は、一般化されたスコア関数とPAC$m$アンサンブル境界を組み合わせた、新しい堅牢な自由エネルギー基準を示す。 提案した自由エネルギートレーニング基準は、モデルミススペクテーションとアウトリーチの有害な影響を防止できる予測分布を生成する。
• 参考スコア（独自算出の注目度）: 46.38465729190199
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Standard Bayesian learning is known to have suboptimal generalization capabilities under model misspecification and in the presence of outliers. PAC-Bayes theory demonstrates that the free energy criterion minimized by Bayesian learning is a bound on the generalization error for Gibbs predictors (i.e., for single models drawn at random from the posterior) under the assumption of sampling distributions uncontaminated by outliers. This viewpoint provides a justification for the limitations of Bayesian learning when the model is misspecified, requiring ensembling, and when data is affected by outliers. In recent work, PAC-Bayes bounds - referred to as PAC$^m$ - were derived to introduce free energy metrics that account for the performance of ensemble predictors, obtaining enhanced performance under misspecification. This work presents a novel robust free energy criterion that combines the generalized logarithm score function with PAC$^m$ ensemble bounds. The proposed free energy training criterion produces predictive distributions that are able to concurrently counteract the detrimental effects of model misspecification and outliers.
• Abstract（参考訳）: 標準ベイズ学習は、モデル不特定性および外れ値の存在下で最適部分一般化能力を有することが知られている。 pac-bayes理論は、ベイズ学習によって最小化される自由エネルギーの基準が、異常値によって汚染されないサンプリング分布の仮定の下でギブス予測器(すなわち、後からランダムに描画された単一モデル)の一般化誤差に縛られることを証明している。 この視点は、モデルが誤って特定され、アンサンブルが必要であり、データが外れ値に影響された場合にベイズ学習の限界を正当化する。 最近の研究で、PAC-Bayes境界(PAC$^m$)は、アンサンブル予測器の性能を考慮に入れた自由エネルギー指標を導入し、不特定条件下での性能を向上させるために導出された。 本研究は,一般化対数スコア関数とpac$^m$アンサンブル境界を組み合わせた,新しいロバストな自由エネルギー基準を提案する。 提案する自由エネルギー訓練基準は,モデル不特定化と異常値の有害な効果を相殺する予測分布を生成する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Bayesian vs. PAC-Bayesian Deep Neural Network Ensembles [7.883369697332076]
  ベイズアンサンブルのサンプリングや重み付けは,特に一般化性能の向上には適していない。 文献から得られた最先端のベイズアンサンブルは、計算的に要求されているにもかかわらず、単純な一様重み付きディープアンサンブルよりも改善されていないことを示す。
  論文  参考訳（メタデータ） (2024-06-08T13:19:18Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Robust Generative Learning with Lipschitz-Regularized $α$-Divergences Allows Minimal Assumptions on Target Distributions [12.19634962193403]
  本稿では,Lipschitz-regularized $alpha$-divergencesの生成モデルにおける目的関数としてのロバスト性を示す。 GANや勾配流などの生成モデルの安定な訓練に不可欠な変分微分の存在と有限性を証明する。 数値実験により、Lipschitz-regularized $alpha$-divergencesを利用した生成モデルは、様々な困難なシナリオで安定して分布を学習できることが確認された。
  論文  参考訳（メタデータ） (2024-05-22T19:58:13Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Sequential prediction under log-loss and misspecification [47.66467420098395]
  累積的後悔の観点から,ログロスに基づく逐次予測の問題を考える。 明確に特定され誤記された症例の累積的後悔が偶然に現れる。 分布自由あるいはPAC後悔を$o(1)$で特徴づける。
  論文  参考訳（メタデータ） (2021-01-29T20:28:23Z)
• PAC-Bayes Analysis Beyond the Usual Bounds [16.76187007910588]
  本研究では,学習者が学習例の有限セットを観察する学習モデルに焦点を当てる。 学習したデータ依存分布はランダム化予測に使用される。
  論文  参考訳（メタデータ） (2020-06-23T14:30:24Z)
• De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors [21.59277717031637]
  決定論的非平滑予測(ReLU-nets)のための非ランダム化PACの族を示す。 また、セットサイズやラベルの変更に対する境界の実証的な結果も提示する。
  論文  参考訳（メタデータ） (2020-02-23T17:54:07Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。