論文の概要: Toward Robust Uncertainty Estimation with Random Activation Functions

• arxiv url: http://arxiv.org/abs/2302.14552v1
• Date: Tue, 28 Feb 2023 13:17:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 16:35:41.809207
• Title: Toward Robust Uncertainty Estimation with Random Activation Functions
• Title（参考訳）: ランダム活性化関数を用いたロバスト不確かさ推定に向けて
• Authors: Yana Stoyanova, Soroush Ghandi, Maryam Tavakol
• Abstract要約: 本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
• 参考スコア（独自算出の注目度）: 3.0586855806896045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are in the limelight of machine learning with their excellent performance in many data-driven applications. However, they can lead to inaccurate predictions when queried in out-of-distribution data points, which can have detrimental effects especially in sensitive domains, such as healthcare and transportation, where erroneous predictions can be very costly and/or dangerous. Subsequently, quantifying the uncertainty of the output of a neural network is often leveraged to evaluate the confidence of its predictions, and ensemble models have proved to be effective in measuring the uncertainty by utilizing the variance of predictions over a pool of models. In this paper, we propose a novel approach for uncertainty quantification via ensembles, called Random Activation Functions (RAFs) Ensemble, that aims at improving the ensemble diversity toward a more robust estimation, by accommodating each neural network with a different (random) activation function. Extensive empirical study demonstrates that RAFs Ensemble outperforms state-of-the-art ensemble uncertainty quantification methods on both synthetic and real-world datasets in a series of regression tasks.
• Abstract（参考訳）: ディープニューラルネットワークは、多くのデータ駆動アプリケーションで優れたパフォーマンスを持つマシンラーニングの目玉です。 しかし、分散外データポイントに問い合わせて不正確な予測に繋がる可能性があるため、医療や交通といった繊細なドメインでは、誤った予測は非常に費用がかかり、危険になる可能性がある。 その後、ニューラルネットワークの出力の不確かさを定量化して予測の信頼性を評価し、アンサンブルモデルがモデルのプール上の予測のばらつきを利用して不確かさを測定するのに有効であることが証明された。 本稿では,各ニューラルネットワークを異なる(ランダム)アクティベーション関数に適応させることにより,よりロバストな推定に向けたアンサンブルの多様性を向上させることを目的とした,ランダムアクティベーション関数(rafs)アンサンブルによる不確実性定量化手法を提案する。 広範な実証研究により、rafsアンサンブルは一連の回帰タスクにおいて、合成データと実世界のデータセットの両方の最先端アンサンブル不確実性定量化法よりも優れていることが示されている。

関連論文リスト

• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Looking at the posterior: accuracy and uncertainty of neural-network predictions [0.0]
  予測精度はてんかんとアレタリック不確実性の両方に依存している。 本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
  論文  参考訳（メタデータ） (2022-11-26T16:13:32Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Evaluating Predictive Distributions: Does Bayesian Deep Learning Work? [45.290773422944866]
  後続の予測分布は、点推定によって無視される不確実性を定量化する。 本稿では,このような予測を生成するエージェントの系統的評価を行うためのツールである,The Neural Testbedを紹介する。
  論文  参考訳（メタデータ） (2021-10-09T18:54:02Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Cross-Validation and Uncertainty Determination for Randomized Neural Networks with Applications to Mobile Sensors [0.0]
  極端学習マシンは、限られたコンピュータリソースとグリーン機械学習の下で教師付き学習を行うための魅力的で効率的な方法を提供する。 このようなネットワークと回帰手法による教師あり学習について,一般化と予測誤差の整合性および境界性の観点から考察した。
  論文  参考訳（メタデータ） (2021-01-06T12:28:06Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。