論文の概要: Stationary Activations for Uncertainty Calibration in Deep Learning

• arxiv url: http://arxiv.org/abs/2010.09494v1
• Date: Mon, 19 Oct 2020 13:31:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 22:33:36.620619
• Title: Stationary Activations for Uncertainty Calibration in Deep Learning
• Title（参考訳）: 深層学習における不確かさ校正のための定常的活性化
• Authors: Lassi Meronen, Christabella Irwanto, Arno Solin
• Abstract要約: 我々は、広く使われているカーネルのMat'ernファミリーによって誘導される特性を模倣する非線形ニューラルネットワーク活性化関数の新しいファミリーを導入する。 このクラスは、平均二乗微分の様々な次数の局所定常モデルの範囲にまたがる。 分類・回帰ベンチマークとレーダエミッター分類タスクにおいて,これらの特性を実証する。
• 参考スコア（独自算出の注目度）: 17.065813837196313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new family of non-linear neural network activation functions that mimic the properties induced by the widely-used Mat\'ern family of kernels in Gaussian process (GP) models. This class spans a range of locally stationary models of various degrees of mean-square differentiability. We show an explicit link to the corresponding GP models in the case that the network consists of one infinitely wide hidden layer. In the limit of infinite smoothness the Mat\'ern family results in the RBF kernel, and in this case we recover RBF activations. Mat\'ern activation functions result in similar appealing properties to their counterparts in GP models, and we demonstrate that the local stationarity property together with limited mean-square differentiability shows both good performance and uncertainty calibration in Bayesian deep learning tasks. In particular, local stationarity helps calibrate out-of-distribution (OOD) uncertainty. We demonstrate these properties on classification and regression benchmarks and a radar emitter classification task.
• Abstract（参考訳）: 本稿では,gaussian process (gp)モデルにおいて広く使われているmat\'ernのカーネル群によって引き起こされる特性を模倣する非線形ニューラルネットワーク活性化関数の新たなファミリーを提案する。 このクラスは、様々な平均二乗微分可能性の局所定常モデルの範囲にまたがる。 ネットワークが無限に広い隠蔽層で構成されている場合、対応するGPモデルへの明示的なリンクを示す。 無限の滑らかさの極限において、Mat\'ern 族は RBF 核となり、この場合 RBF の活性化を回復する。 Mat\'ern のアクティベーション関数は,GP モデルと類似の魅力を呈し,局所定常性特性と平均二乗微分可能性の限定は,ベイズ深層学習タスクの性能と不確かさを両立させることを示した。 特に、ローカルな定常性は、分散(ood)の不確かさの校正に役立つ。 分類・回帰ベンチマークおよびレーダエミッタ分類タスクにおいて,これらの特性を示す。

関連論文リスト

• Learn2Extend: Extending sequences by retaining their statistical properties with mixture models [7.15769102504304]
  本稿では,実数列の一般有限列を実数列の部分区間内で拡張するという課題に対処する。 我々の焦点は、これらの点集合のギャップ分布とペア相関関数を保存することにある。 本稿では,ポイントプロセスに適用されたディープラーニングの進歩を活用し,自動回帰テキストシーケンス拡張混合モデルの利用について検討する。
  論文  参考訳（メタデータ） (2023-12-03T21:05:50Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
  適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。 提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T10:29:02Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Adversarial Robustness via Fisher-Rao Regularization [33.134075068748984]
  適応的堅牢性は、機械学習への関心の高まりのトピックとなっている。 火はカテゴリーのクロスエントロピー損失に対する新しいフィッシャー・ラオ正規化である。
  論文  参考訳（メタデータ） (2021-06-12T04:12:58Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。