論文の概要: PEP: Parameter Ensembling by Perturbation
- arxiv url: http://arxiv.org/abs/2010.12721v1
- Date: Sat, 24 Oct 2020 00:16:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 12:07:37.131994
- Title: PEP: Parameter Ensembling by Perturbation
- Title(参考訳): PEP:摂動によるパラメータ化
- Authors: Alireza Mehrtash, Purang Abolmaesumi, Polina Golland, Tina Kapur,
Demian Wassermann, William M. Wells III
- Abstract要約: 摂動(PEP)は、トレーニングから設定された最適パラメータのランダム摂動としてパラメータ値のアンサンブルを構成する。
PEPは性能を少し改善し、場合によっては経験的キャリブレーションを大幅に改善する。
PEPは、トレーニング中に発生したオーバーフィッティングのレベルを調査するために使用することができる。
- 参考スコア(独自算出の注目度): 13.221295194854642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensembling is now recognized as an effective approach for increasing the
predictive performance and calibration of deep networks. We introduce a new
approach, Parameter Ensembling by Perturbation (PEP), that constructs an
ensemble of parameter values as random perturbations of the optimal parameter
set from training by a Gaussian with a single variance parameter. The variance
is chosen to maximize the log-likelihood of the ensemble average ($\mathbb{L}$)
on the validation data set. Empirically, and perhaps surprisingly, $\mathbb{L}$
has a well-defined maximum as the variance grows from zero (which corresponds
to the baseline model). Conveniently, calibration level of predictions also
tends to grow favorably until the peak of $\mathbb{L}$ is reached. In most
experiments, PEP provides a small improvement in performance, and, in some
cases, a substantial improvement in empirical calibration. We show that this
"PEP effect" (the gain in log-likelihood) is related to the mean curvature of
the likelihood function and the empirical Fisher information. Experiments on
ImageNet pre-trained networks including ResNet, DenseNet, and Inception showed
improved calibration and likelihood. We further observed a mild improvement in
classification accuracy on these networks. Experiments on classification
benchmarks such as MNIST and CIFAR-10 showed improved calibration and
likelihood, as well as the relationship between the PEP effect and overfitting;
this demonstrates that PEP can be used to probe the level of overfitting that
occurred during training. In general, no special training procedure or network
architecture is needed, and in the case of pre-trained networks, no additional
training is needed.
- Abstract(参考訳): 組立は、ディープネットワークの予測性能とキャリブレーションを高める効果的なアプローチとして認識されている。
本研究では,単一分散パラメータを持つガウス型学習から最適パラメータセットのランダムな摂動としてパラメータ値のアンサンブルを構成する,摂動によるパラメータセンシング(pep)という新しい手法を提案する。
分散は、検証データセット上のアンサンブル平均(\mathbb{L}$)のログ類似度を最大化するために選択される。
経験的に、そしておそらく驚くことに、$\mathbb{l}$ は分散がゼロ(ベースラインモデルに対応する)から成長するにつれてよく定義された最大値を持つ。
同様に、予測のキャリブレーションレベルも、$\mathbb{L}$のピークに達するまで好適に成長する傾向にある。
ほとんどの実験では、PEPは性能を少し改善し、場合によっては経験的なキャリブレーションを大幅に改善する。
この「pep効果」 (ログ類似度利得) は, 確率関数の平均曲率と経験的フィッシャー情報との関連性を示す。
ResNet、DenseNet、InceptionなどのImageNet事前トレーニングネットワークの実験では、キャリブレーションと可能性が改善された。
さらに,これらのネットワーク上での分類精度は軽度に向上した。
MNISTやCIFAR-10のような分類ベンチマークの実験では、校正と可能性の向上に加えて、PEP効果とオーバーフィッティングの関係が示された。
一般に、特別なトレーニング手順やネットワークアーキテクチャは不要であり、事前訓練されたネットワークの場合、追加のトレーニングは不要である。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Variational Linearized Laplace Approximation for Bayesian Deep Learning [1.77513002450736]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。
本手法はGPの2つのRKHSに基づいており,元のDNNの出力予測平均として維持される。
提案手法は,Nystr"om近似に基づく加速LLA(ELLA)と,サンプル列最適化原理を用いた他のLA変種を比較した。
論文 参考訳(メタデータ) (2023-02-24T10:32:30Z) - Reliable Prediction Intervals with Directly Optimized Inductive
Conformal Regression for Deep Learning [3.42658286826597]
予測間隔(PI)は、ディープラーニング回帰における各予測の不確かさの定量化に使用される。
PIの品質向上のための多くのアプローチは、PIの幅を効果的に削減することができるが、実際のラベルが十分に取得されていることを保証しない。
本研究では,損失関数としてPIの平均幅のみを考慮に入れた直接最適化インダクティブ・コンダクティブ・レグレッション(DOICR)を用いる。
ベンチマーク実験により、DOICRは回帰問題に対する現在の最先端アルゴリズムよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-02-02T04:46:14Z) - Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。
入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。
CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
論文 参考訳(メタデータ) (2022-07-13T14:13:49Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳(メタデータ) (2021-06-09T01:37:36Z) - Efficient training of physics-informed neural networks via importance
sampling [2.9005223064604078]
Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。
重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
論文 参考訳(メタデータ) (2021-04-26T02:45:10Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳(メタデータ) (2020-10-14T18:41:54Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳(メタデータ) (2020-06-19T05:08:43Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing
its Gradient Estimator Bias [65.13042449121411]
実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。
有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。
これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
論文 参考訳(メタデータ) (2020-06-06T09:36:07Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳(メタデータ) (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。