論文の概要: De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and
Non-smooth Predictors
- arxiv url: http://arxiv.org/abs/2002.09956v3
- Date: Thu, 12 Nov 2020 01:29:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 09:18:49.290140
- Title: De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and
Non-smooth Predictors
- Title（参考訳）: 非ランダム化PAC-Bayesマージン境界:非凸および非平滑予測への応用
- Authors: Arindam Banerjee, Tiancong Chen and Yingxue Zhou
- Abstract要約: 決定論的非平滑予測(ReLU-nets)のための非ランダム化PACの族を示す。
また、セットサイズやラベルの変更に対する境界の実証的な結果も提示する。
- 参考スコア（独自算出の注目度）: 21.59277717031637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In spite of several notable efforts, explaining the generalization of
deterministic non-smooth deep nets, e.g., ReLU-nets, has remained challenging.
Existing approaches for deterministic non-smooth deep nets typically need to
bound the Lipschitz constant of such deep nets but such bounds are quite large,
may even increase with the training set size yielding vacuous generalization
bounds. In this paper, we present a new family of de-randomized PAC-Bayes
margin bounds for deterministic non-convex and non-smooth predictors, e.g.,
ReLU-nets. Unlike PAC-Bayes, which applies to Bayesian predictors, the
de-randomized bounds apply to deterministic predictors like ReLU-nets. A
specific instantiation of the bound depends on a trade-off between the
(weighted) distance of the trained weights from the initialization and the
effective curvature (`flatness') of the trained predictor.
To get to these bounds, we first develop a de-randomization argument for
non-convex but smooth predictors, e.g., linear deep networks (LDNs), which
connects the performance of the deterministic predictor with a Bayesian
predictor. We then consider non-smooth predictors which for any given input
realized as a smooth predictor, e.g., ReLU-nets become some LDNs for any given
input, but the realized smooth predictors can be different for different
inputs. For such non-smooth predictors, we introduce a new PAC-Bayes analysis
which takes advantage of the smoothness of the realized predictors, e.g., LDN,
for a given input, and avoids dependency on the Lipschitz constant of the
non-smooth predictor. After careful de-randomization, we get a bound for the
deterministic non-smooth predictor. We also establish non-uniform sample
complexity results based on such bounds. Finally, we present extensive
empirical results of our bounds over changing training set size and randomness
in labels.
- Abstract（参考訳）: いくつかの顕著な努力にもかかわらず、決定論的非滑らかなディープネット(例えばReLU-nets)の一般化の説明は依然として難しいままである。
決定論的でない非滑らかなディープネットに対する既存のアプローチは、通常そのようなディープネットのリプシッツ定数を束縛する必要があるが、そのような境界は非常に大きいので、空の一般化境界をもたらすトレーニングセットのサイズが大きくなるかもしれない。
本稿では,決定論的非凸・非スムース予測器,例えば relu-nets に対する非ランダム化pac-bayesマージンの新たなファミリーを提案する。
ベイズ予測器に適用されるPAC-ベイズとは異なり、非ランダム化境界はReLUネットのような決定論的予測器に適用される。
境界の特定のインスタンス化は、初期化からトレーニングされた重みの(重み付けされた)距離とトレーニングされた予測子の有効曲率("flatness")との間のトレードオフに依存する。
これらの限界に到達するために、まず、線形深層ネットワーク(LDN)のような非凸だが滑らかな予測子に対する非ランダム化引数を開発し、決定論的予測子とベイズ予測子を接続する。
次に、任意の入力に対して滑らかな予測器として実現された任意の入力に対して、例えば、ReLU-netが任意の入力に対してLDNとなるような非滑らかな予測器を考える。
このような非スムース予測器に対して,任意の入力に対して実現された予測器,例えばldnの滑らかさを活かし,非スモース予測器のリプシッツ定数への依存を回避する新しいpac-bayes解析を導入する。
注意深い非ランダム化の後、決定論的非スムース予測器にバウンドを得る。
このような境界に基づいて、非一様なサンプル複雑性の結果も確立する。
最後に,ラベルのトレーニングセットサイズとランダム性の変化に対する境界の広範な経験結果を示す。
関連論文リスト
- Conformalized-DeepONet: A Distribution-Free Framework for Uncertainty
Quantification in Deep Operator Networks [7.119066725173193]
我々は,DeepONet(DeepONet)レグレッションのカバレッジを保証するため,コンフォメーション予測を用いて信頼性予測間隔を求める。
我々は分割共形予測をより自然に利用できる新しいQuantile-DeepONetを設計する。
種々の常微分方程式の数値例を用いて提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-02-23T16:07:39Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Looking at the posterior: accuracy and uncertainty of neural-network
predictions [0.0]
予測精度はてんかんとアレタリック不確実性の両方に依存している。
本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
論文 参考訳（メタデータ） (2022-11-26T16:13:32Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳（メタデータ） (2022-02-07T12:30:45Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Estimating and Exploiting the Aleatoric Uncertainty in Surface Normal
Estimation [25.003116148843525]
単一画像からの表面正規化は3次元シーン理解において重要な課題である。
本稿では,既存手法で共有されている2つの制約,すなわち,アレータリック不確実性を推定できないこと,および予測における詳細性の欠如に対処する。
本稿では,推定不確実性に基づいて,画素単位のパーセプトロンをサンプルとするデコーダフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-20T23:30:04Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Private Prediction Sets [72.75711776601973]
機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。
これら2つのデシラタを共同で扱う枠組みを提案する。
本手法を大規模コンピュータビジョンデータセット上で評価する。
論文 参考訳（メタデータ） (2021-02-11T18:59:11Z) - Learnable Uncertainty under Laplace Approximations [65.24701908364383]
我々は、予測そのものに分離された方法で不確実性を明示的に「訓練」するために形式主義を発展させる。
これらのユニットは不確実性を認識した目標によってトレーニング可能であり、標準的なラプラス近似の性能を向上させることができる。
論文 参考訳（メタデータ） (2020-10-06T13:43:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。