論文の概要: Tighter risk certificates for neural networks
- arxiv url: http://arxiv.org/abs/2007.12911v3
- Date: Wed, 22 Sep 2021 14:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 00:33:48.444014
- Title: Tighter risk certificates for neural networks
- Title（参考訳）: ニューラルネットワークの厳密なリスク証明書
- Authors: Mar\'ia P\'erez-Ortiz and Omar Rivasplata and John Shawe-Taylor and
Csaba Szepesv\'ari
- Abstract要約: ここでは、ニューラルネットワークのトレーニングに関連して、初めて使用するトレーニング目標を2つ提示する。
また,従来のPAC-Bayes境界に基づいて,従来使用されていたトレーニング目標を再実装する。
我々は、予測器の学習に使用されるデータの一部に基づいて、学習者予測器のリスク証明書を算出する。
- 参考スコア（独自算出の注目度）: 10.462889461373226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents an empirical study regarding training probabilistic
neural networks using training objectives derived from PAC-Bayes bounds. In the
context of probabilistic neural networks, the output of training is a
probability distribution over network weights. We present two training
objectives, used here for the first time in connection with training neural
networks. These two training objectives are derived from tight PAC-Bayes
bounds. We also re-implement a previously used training objective based on a
classical PAC-Bayes bound, to compare the properties of the predictors learned
using the different training objectives. We compute risk certificates for the
learnt predictors, based on part of the data used to learn the predictors. We
further experiment with different types of priors on the weights (both
data-free and data-dependent priors) and neural network architectures. Our
experiments on MNIST and CIFAR-10 show that our training methods produce
competitive test set errors and non-vacuous risk bounds with much tighter
values than previous results in the literature, showing promise not only to
guide the learning algorithm through bounding the risk but also for model
selection. These observations suggest that the methods studied here might be
good candidates for self-certified learning, in the sense of using the whole
data set for learning a predictor and certifying its risk on any unseen data
(from the same distribution as the training data) potentially without the need
for holding out test data.
- Abstract（参考訳）: 本稿では,PAC-Bayes境界から導かれるトレーニング目標を用いて,確率的ニューラルネットワークのトレーニングに関する実証的研究を行う。
確率論的ニューラルネットワークの文脈では、トレーニングの出力はネットワーク重みよりも確率分布である。
本稿では,ニューラルネットワークのトレーニングに初めて使用する2つのトレーニング目標について述べる。
これら2つの訓練目的は、PAC-Bayes境界から導かれる。
また,従来のPAC-Bayes境界に基づく学習目標を再実装し,異なる学習目標を用いて学習した予測者の特性を比較する。
我々は、予測器の学習に使用されるデータの一部に基づいて、学習者予測器のリスク証明書を算出する。
さらに,重み付け(データフリーとデータ依存)とニューラルネットワークアーキテクチャについて,異なる種類の優先度を実験する。
mnist と cifar-10 を用いた実験では,本手法が従来の結果よりもはるかに厳密な値を持つ競合テストセットエラーと非空白なリスク境界を生成し,リスクのバウンドによる学習アルゴリズムの指導だけでなく,モデル選択にも期待できることを示した。
これらの結果は, 予測者学習のためのデータセット全体を用いて, テストデータの保持を必要とせず, 検出されていないデータ(トレーニングデータと同じ分布から)に対するリスクを検証できるという観点から, 自己認証学習のよい候補である可能性が示唆された。
関連論文リスト
- Uncertainty Quantification for Deep Learning [0.0]
ディープラーニングのための完全かつ統計的に一貫した不確実性定量化を提供する。
それぞれの不確実性源を体系的に定量化する方法を実証する。
また、すべてのエラーソースを初めて組み込んで組み合わせる、迅速かつ実用的な方法も導入しています。
論文 参考訳（メタデータ） (2024-05-31T00:20:19Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。
本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。
我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
論文 参考訳（メタデータ） (2023-02-25T08:16:21Z) - Conformal prediction for the design problem [72.14982816083297]
機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。
このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。
このような環境で予測の不確実性を定量化する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:59:12Z) - Progress in Self-Certified Neural Networks [13.434562713466246]
学習方法は、すべての利用可能なデータを用いて予測器を同時に学習し、その品質を認証した場合、自己証明される。
最近の研究では、PAC-Bayes境界の最適化によってトレーニングされたニューラルネットワークモデルが正確な予測に結びつくことが示されている。
本研究では,データ飢餓体制において,テストセット境界のデータを保持することが一般化性能に悪影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2021-11-15T13:39:44Z) - Learning PAC-Bayes Priors for Probabilistic Neural Networks [32.01506699213665]
PAC-Bayes境界を最適化することで訓練されたディープラーニングモデルについて、最近の研究で研究されている。
事前構築のために割り当てるべき最適なデータの量は何かを問うとともに、最適なデータがデータセットに依存する可能性があることを示す。
論文 参考訳（メタデータ） (2021-09-21T16:27:42Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳（メタデータ） (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。