論文の概要: A t-distribution based operator for enhancing out of distribution robustness of neural network classifiers

• arxiv url: http://arxiv.org/abs/2006.05389v3
• Date: Fri, 9 Oct 2020 12:15:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 13:24:13.509123
• Title: A t-distribution based operator for enhancing out of distribution robustness of neural network classifiers
• Title（参考訳）: ニューラルネットワーク分類器の分布ロバスト性向上のためのt分布に基づく演算子
• Authors: Niccol\`o Antonello, Philip N. Garner
• Abstract要約: ニューラルネットワーク(NN)分類器は、トレーニング中に現れていないサンプルに極端な確率を割り当てることができる。 この不必要な振る舞いの原因の1つは、標準ソフトマックス作用素の使用にある。 本稿では,不確実性をよりよく記述できる$t$-distributionsを用いて導出する,新しい演算子を提案する。
• 参考スコア（独自算出の注目度）: 14.567354306568296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Network (NN) classifiers can assign extreme probabilities to samples that have not appeared during training (out-of-distribution samples) resulting in erroneous and unreliable predictions. One of the causes for this unwanted behaviour lies in the use of the standard softmax operator which pushes the posterior probabilities to be either zero or unity hence failing to model uncertainty. The statistical derivation of the softmax operator relies on the assumption that the distributions of the latent variables for a given class are Gaussian with known variance. However, it is possible to use different assumptions in the same derivation and attain from other families of distributions as well. This allows derivation of novel operators with more favourable properties. Here, a novel operator is proposed that is derived using $t$-distributions which are capable of providing a better description of uncertainty. It is shown that classifiers that adopt this novel operator can be more robust to out of distribution samples, often outperforming NNs that use the standard softmax operator. These enhancements can be reached with minimal changes to the NN architecture.
• Abstract（参考訳）: ニューラルネットワーク(NN)分類器は、トレーニング中に現れていないサンプル(分布外サンプル)に極端な確率を割り当てることができ、誤った予測と信頼できない予測をもたらす。 この不必要な振る舞いの原因の1つは、後方確率をゼロかユニティかに押し上げる標準ソフトマックス作用素を使用することであり、不確かさをモデル化できない。 ソフトマックス作用素の統計的導出は、与えられたクラスに対する潜在変数の分布が既知の分散を持つガウス的であるという仮定に依存する。 しかし、同じ導出で異なる仮定を使い、他の分布の族からも得ることが可能である。 これにより、より好ましい性質を持つ新規作用素の導出が可能になる。 ここでは、不確実性をよりよく記述できる$t$-distributionsを用いて導出される新しい演算子を提案する。 この新しい演算子を採用する分類器は、分布サンプルより頑健であり、標準のsoftmax演算子を使用するnnよりも優れていることが示されている。 これらの拡張は、NNアーキテクチャに最小限の変更を加えることで達成できる。

関連論文リスト

• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
  近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。 変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。 本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
  論文  参考訳（メタデータ） (2021-11-30T18:28:19Z)
• On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
  GANが任意の確率分布を生成できるという一般的な仮定である。 GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
  論文  参考訳（メタデータ） (2021-10-21T06:10:38Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Being Bayesian about Categorical Probability [6.875312133832079]
  クラスラベルに対する分類的確率の確率変数を考える。 この枠組みでは、先行分布は観測されたラベルに固有の推定ノイズを明示的にモデル化する。 本手法は,計算オーバーヘッドが無視できるプラグアンドプレイ損失関数として実装することができる。
  論文  参考訳（メタデータ） (2020-02-19T02:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。