論文の概要: Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks

• arxiv url: http://arxiv.org/abs/2302.02924v1
• Date: Mon, 6 Feb 2023 16:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 15:51:14.259886
• Title: Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるポストホック不確かさ定量化のためのテスト時のドロップアウト注入
• Authors: Emanuele Ledda, Giorgio Fumera, Fabio Roli
• Abstract要約: 本研究では, ドロップアウト注入が, 競合するポストホック不確実性定量化技術として効果的に動作することを示す。 本研究の主な貢献は、注入液滴の有効利用に関するガイドラインを提供することで、現在の組込み液滴の実用的代替となるようにすることである。
• 参考スコア（独自算出の注目度）: 5.487511963603429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among Bayesian methods, Monte-Carlo dropout provides principled tools for evaluating the epistemic uncertainty of neural networks. Its popularity recently led to seminal works that proposed activating the dropout layers only during inference for evaluating uncertainty. This approach, which we call dropout injection, provides clear benefits over its traditional counterpart (which we call embedded dropout) since it allows one to obtain a post hoc uncertainty measure for any existing network previously trained without dropout, avoiding an additional, time-consuming training process. Unfortunately, no previous work compared injected and embedded dropout; therefore, we provide the first thorough investigation, focusing on regression problems. The main contribution of our work is to provide guidelines on the effective use of injected dropout so that it can be a practical alternative to the current use of embedded dropout. In particular, we show that its effectiveness strongly relies on a suitable scaling of the corresponding uncertainty measure, and we discuss the trade-off between negative log-likelihood and calibration error as a function of the scale factor. Experimental results on UCI data sets and crowd counting benchmarks support our claim that dropout injection can effectively behave as a competitive post hoc uncertainty quantification technique.
• Abstract（参考訳）: ベイズ法において、モンテカルロドロップアウトは、ニューラルネットワークの認識論的不確実性を評価するための原理的なツールを提供する。 その人気は、不確実性を評価するために推論時にのみドロップアウト層を活性化させるというセミナルな研究につながった。 私たちがドロップアウトインジェクションと呼ぶこのアプローチは、これまでドロップアウトなしでトレーニングされていた既存のネットワークに対して、追加の時間を要するトレーニングプロセスを回避することで、ポストホック不確実性の測定を可能にするため、従来のもの(組込みドロップアウトと呼ぶ)に対して明確なメリットを提供します。 残念ながら、インジェクションと組込みドロップアウトの比較は行われていないため、回帰問題に焦点をあてた最初の徹底的な調査を行っている。 本研究の主な貢献は、注入液滴の有効利用に関するガイドラインを提供することで、現在の組込み液滴の実用的代替となるようにすることである。 特に,その効果は,対応する不確実性尺度の適切なスケーリングに強く依存していることを示し,スケール係数の関数として負のログ様相とキャリブレーション誤差とのトレードオフについて論じる。 uciデータセットとクラウドカウントベンチマークの実験結果は、ドロップアウトインジェクションはhoc後の不確実性定量化技術として効果的に振る舞うことができると主張している。

関連論文リスト

• PSBD: Prediction Shift Uncertainty Unlocks Backdoor Detection [57.571451139201855]
  予測シフトバックドア検出(英: Prediction Shift Backdoor Detection、PSBD)は、ディープニューラルネットワークにおけるバックドアサンプルを識別する新しい手法である。 PSBDは興味深い予測シフト(PS)現象によって動機付けられており、クリーンなデータに対する有害なモデルの予測は、しばしば真のラベルから別のラベルへとシフトする。 PSBDは、モデル推論中にドロップアウト層をオン/オフする際の確率値のばらつきである予測シフト不確実性(PSU)を計算することで、バックドアトレーニングサンプルを特定する。
  論文  参考訳（メタデータ） (2024-06-09T15:31:00Z)
• Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
  本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。 学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
  論文  参考訳（メタデータ） (2024-05-25T06:25:24Z)
• Inadequacy of common stochastic neural networks for reliable clinical decision support [0.4262974002462632]
  医療意思決定におけるAIの普及は、倫理的および安全性に関する懸念から、いまだに妨げられている。 しかし、一般的なディープラーニングアプローチは、データシフトによる過信傾向にある。 本研究は臨床応用における信頼性について考察する。
  論文  参考訳（メタデータ） (2024-01-24T18:49:30Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Anti-Exploration by Random Network Distillation [63.04360288089277]
  ランダムネットワーク蒸留 (RND) の条件付けは, 不確実性推定器として用いるのに十分な識別性がないことを示す。 この制限は、FiLM(Feature-wise Linear Modulation)に基づく条件付けによって回避できることを示す。 D4RLベンチマークで評価したところ、アンサンブルベースの手法に匹敵する性能を達成でき、アンサンブルのない手法よりも広いマージンで性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T13:18:33Z)
• Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training [29.4569172720654]
  我々は,ドロップアウトアンサンブルによって予測される不確実性の攻撃を組み込んだ,単純な対向訓練手法を開発した。 本手法は,OOD検出性能を標準データ上で向上させる(逆向きではない)とともに,ほぼランダムな推定性能から$geq 0.75$まで,標準化された部分AUCを改善する。
  論文  参考訳（メタデータ） (2022-09-05T14:32:19Z)
• Controlled Dropout for Uncertainty Estimation [11.225333867982359]
  ニューラルネットワークの不確実性は、安全クリティカルなアプリケーションに関する最も議論されたトピックの1つである。 従来のドロップアウトレイヤの新バージョンで、ドロップアウト構成の数を修正できます。
  論文  参考訳（メタデータ） (2022-05-06T09:48:11Z)
• Out of Distribution Data Detection Using Dropout Bayesian Neural Networks [29.84998820573774]
  まず, ドロップアウトBNNの中間層によって誘導されるランダム化埋め込みを利用する試みが, 距離測定によって失敗することを示す。 組込み不確実性を測定するための代替手法を導入し、その使用を理論的に正当化し、組込み不確実性を導入することで、画像分類、言語分類、マルウェア検出の3つのタスクにおけるOODデータ識別が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T02:23:43Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。