論文の概要: Survey on Leveraging Uncertainty Estimation Towards Trustworthy Deep
Neural Networks: The Case of Reject Option and Post-training Processing
- arxiv url: http://arxiv.org/abs/2304.04906v1
- Date: Tue, 11 Apr 2023 00:35:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 16:34:32.082127
- Title: Survey on Leveraging Uncertainty Estimation Towards Trustworthy Deep
Neural Networks: The Case of Reject Option and Post-training Processing
- Title（参考訳）: 信頼に値するディープニューラルネットワークに向けた不確実性推定の活用に関する調査--リジェクションオプションとポストトレーニング処理の場合
- Authors: Mehedi Hasan, Moloud Abdar, Abbas Khosravi, Uwe Aickelin, Pietro Lio',
Ibrahim Hossain, Ashikur Rahman and Saeid Nahavandi
- Abstract要約: 本稿では,様々なニューラルネットワークの文脈におけるリジェクションオプションによる予測の体系的レビューを行う。
実時間問題に対する予測時間を短縮する際の拒絶オプションの適用について検討する。
- 参考スコア（独自算出の注目度）: 11.1569804870748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although neural networks (especially deep neural networks) have achieved
\textit{better-than-human} performance in many fields, their real-world
deployment is still questionable due to the lack of awareness about the
limitation in their knowledge. To incorporate such awareness in the machine
learning model, prediction with reject option (also known as selective
classification or classification with abstention) has been proposed in
literature. In this paper, we present a systematic review of the prediction
with the reject option in the context of various neural networks. To the best
of our knowledge, this is the first study focusing on this aspect of neural
networks. Moreover, we discuss different novel loss functions related to the
reject option and post-training processing (if any) of network output for
generating suitable measurements for knowledge awareness of the model. Finally,
we address the application of the rejection option in reducing the prediction
time for the real-time problems and present a comprehensive summary of the
techniques related to the reject option in the context of extensive variety of
neural networks. Our code is available on GitHub:
\url{https://github.com/MehediHasanTutul/Reject_option}
- Abstract（参考訳）: ニューラルネットワーク(特にディープニューラルネットワーク)は、多くの分野で \textit{better- than-human} のパフォーマンスを達成しているが、その知識の限界に対する認識の欠如により、現実の展開には疑問が残る。
このような認識を機械学習モデルに組み込むために、リジェクションオプションによる予測(選択的分類または棄権的分類とも呼ばれる)が文献で提案されている。
本稿では,様々なニューラルネットワークの文脈において,rejectオプションを用いた予測を体系的に検討する。
私たちの知る限りでは、ニューラルネットワークのこの側面に焦点を当てた最初の研究です。
さらに,モデルの知識認識に適した測定値を生成するために,ネットワーク出力のリジェクトオプションとトレーニング後処理(if)に関連する新たな損失関数について検討する。
最後に、実時間問題に対する予測時間を削減するためのリジェクションオプションの適用に対処し、幅広いニューラルネットワークの文脈においてリジェクションオプションに関連するテクニックの包括的な要約を示す。
私たちのコードはgithubで入手できる。 \url{https://github.com/mehedihasantutul/reject_option}
関連論文リスト
- Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。
動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。
以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
論文 参考訳（メタデータ） (2024-08-08T16:48:33Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳（メタデータ） (2022-01-30T04:52:31Z) - Sparse Deep Learning: A New Framework Immune to Local Traps and
Miscalibration [12.05471394131891]
我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。
我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-01T21:16:34Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Predify: Augmenting deep neural networks with brain-inspired predictive
coding dynamics [0.5284812806199193]
我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」
本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
論文 参考訳（メタデータ） (2021-06-04T22:48:13Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z) - MaxDropout: Deep Neural Network Regularization Based on Maximum Output
Values [0.0]
MaxDropoutはディープニューラルネットワークモデルのレギュレータで、著名なニューロンを除去することで教師付きで機能する。
我々は、DropoutがMaxDropoutに置き換えられた場合、既存のニューラルネットワークを改善し、ニューラルネットワークのより良い結果を提供することができることを示す。
論文 参考訳（メタデータ） (2020-07-27T17:55:54Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。