論文の概要: Randomized ReLU Activation for Uncertainty Estimation of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2107.07197v1
• Date: Thu, 15 Jul 2021 08:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-17 00:26:10.977760
• Title: Randomized ReLU Activation for Uncertainty Estimation of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの不確かさ推定のためのランダム化ReLU活性化
• Authors: Yufeng Xia, Jun Zhang, Zhiqiang Gong, Tingsong Jiang and Wen Yao
• Abstract要約: ディープニューラルネットワーク(DNN)は、様々なタスクで有用なデータ表現をうまく学習している。 Deep Ensembleは、不確実性推定のための最先端の手法として広く考えられているが、トレーニングとテストは非常に高価である。 我々はRandomized ReLU Activationフレームワークを導入し、より多様な予測を少ない時間で得られるようにする。
• 参考スコア（独自算出の注目度）: 8.541875999755593
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep neural networks (DNNs) have successfully learned useful data representations in various tasks, however, assessing the reliability of these representations remains a challenge. Deep Ensemble is widely considered the state-of-the-art method for uncertainty estimation, but it is very expensive to train and test. MC-Dropout is another alternative method, which is less expensive but lacks the diversity of predictions. To get more diverse predictions in less time, we introduce Randomized ReLU Activation (RRA) framework. Under the framework, we propose two strategies, MC-DropReLU and MC-RReLU, to estimate uncertainty. Instead of randomly dropping some neurons of the network as in MC-Dropout, the RRA framework adds randomness to the activation function module, making the outputs diverse. As far as we know, this is the first attempt to add randomness to the activation function module to generate predictive uncertainty. We analyze and compare the output diversity of MC-Dropout and our method from the variance perspective and obtain the relationship between the hyperparameters and output diversity in the two methods. Moreover, our method is simple to implement and does not need to modify the existing model. We experimentally validate the RRA framework on three widely used datasets, CIFAR10, CIFAR100, and TinyImageNet. The experiments demonstrate that our method has competitive performance but is more favorable in training time and memory requirements.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々なタスクで有用なデータ表現をうまく学習してきたが、これらの表現の信頼性を評価することは依然として困難である。 ディープアンサンブルは不確実性推定の最先端の手法として広く考えられているが、訓練とテストは非常に高価である。 MC-Dropoutはコストが安いが予測の多様性に欠ける別の方法である。 より多様な予測を少ない時間で得られるように、Randomized ReLU Activation (RRA)フレームワークを導入します。 本稿では,MC-DropReLU と MC-RReLU の2つの手法を提案する。 MC-Dropoutのようにネットワークのいくつかのニューロンをランダムにドロップするのではなく、RRAフレームワークはアクティベーション関数モジュールにランダム性を追加し、出力を多様にする。 私たちが知る限り、これはアクティベーション関数モジュールにランダム性を加えて予測の不確実性を生成する最初の試みである。 MC-Dropoutの出力の多様性を分散の観点から解析・比較し,2つの手法におけるハイパーパラメータと出力の多様性の関係を求める。 さらに,本手法は実装が簡単であり,既存モデルを変更する必要もない。 CIFAR10, CIFAR100, TinyImageNetの3つの広く使われているデータセット上で, RRAフレームワークを実験的に検証した。 実験の結果,本手法は性能は高いが,トレーニング時間やメモリ要件は良好であることが判明した。

関連論文リスト

• OPONeRF: One-Point-One NeRF for Robust Neural Rendering [70.56874833759241]
  そこで我々は,ロバストなシーンレンダリングのためのOne-Point-One NeRF (OPONeRF) フレームワークを提案する。 物体の動き、光の変化、データ汚染といった小さなが予測不可能な摂動は、現実の3Dシーンに広く存在している。 実験の結果,OPONeRFは各種評価指標において最先端のNeRFよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-30T07:49:30Z)
• Uncertainty-aware Multi-modal Learning via Cross-modal Random Network Prediction [22.786774541083652]
  クロスモーダルランダムネットワーク予測(CRNP)による特徴密度の測定により不確かさを推定する不確実性認識型マルチモーダル学習器を提案する。 CRNPは、安定したトレーニングプロセスを持ちながら、異なる予測タスク間の変換にほとんど適応を必要としないように設計されている。
  論文  参考訳（メタデータ） (2022-07-22T03:00:10Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2021-01-07T19:12:06Z)
• Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation [1.2891210250935146]
  本稿では,ディープニューラルネットワーク(DNN)の高精度な不確実性推定手法を提案する。 我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。 その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。
  論文  参考訳（メタデータ） (2020-10-05T10:59:11Z)
• Beyond Point Estimate: Inferring Ensemble Prediction Variation from Neuron Activation Strength in Recommender Systems [21.392694985689083]
  Ensemble Methodは、予測不確実性推定のための最先端のベンチマークである。 予測のバリエーションは、様々なランダム性源から生じることを観察する。 本稿では,ニューロンの活性化強度の予測変動を推定し,活性化強度の特徴から強い予測力を示す。
  論文  参考訳（メタデータ） (2020-08-17T00:08:27Z)
• RAIN: A Simple Approach for Robust and Accurate Image Classification Networks [156.09526491791772]
  既存の敵防衛手法の大部分は、予測精度を犠牲にして堅牢性を実現することが示されている。 本稿では,ロバストおよび高精度画像分類N(RAIN)と呼ぶ新しい前処理フレームワークを提案する。 RAINは入力に対してランダム化を適用して、モデルフォワード予測パスと後方勾配パスの関係を壊し、モデルロバスト性を改善する。 STL10 と ImageNet のデータセットを用いて、様々な種類の敵攻撃に対する RAIN の有効性を検証する。
  論文  参考訳（メタデータ） (2020-04-24T02:03:56Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。