論文の概要: Multidimensional Uncertainty Quantification for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2304.10527v1
- Date: Thu, 20 Apr 2023 17:54:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 11:57:53.172503
- Title: Multidimensional Uncertainty Quantification for Deep Neural Networks
- Title（参考訳）: 深層ニューラルネットワークの多次元不確かさ定量化
- Authors: Xujiang Zhao
- Abstract要約: 本稿では、ディープニューラルネットワーク(DNN)における異なる不確実性の原因を測定する方法について研究する。
我々は、異なる根本原因に起因する複数の不確かさを定量化する一般的な学習フレームワークを開発する。
我々は既存のSSLアルゴリズムがOOD(Out-of-Distribution)オブジェクトに対して堅牢性を向上させるための新しいフレームワークを開発する。
- 参考スコア（独自算出の注目度）: 4.644923443649427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have received tremendous attention and achieved
great success in various applications, such as image and video analysis,
natural language processing, recommendation systems, and drug discovery.
However, inherent uncertainties derived from different root causes have been
realized as serious hurdles for DNNs to find robust and trustworthy solutions
for real-world problems. A lack of consideration of such uncertainties may lead
to unnecessary risk. For example, a self-driving autonomous car can misdetect a
human on the road. A deep learning-based medical assistant may misdiagnose
cancer as a benign tumor.
In this work, we study how to measure different uncertainty causes for DNNs
and use them to solve diverse decision-making problems more effectively. In the
first part of this thesis, we develop a general learning framework to quantify
multiple types of uncertainties caused by different root causes, such as
vacuity (i.e., uncertainty due to a lack of evidence) and dissonance (i.e.,
uncertainty due to conflicting evidence), for graph neural networks. We provide
a theoretical analysis of the relationships between different uncertainty
types. We further demonstrate that dissonance is most effective for
misclassification detection and vacuity is most effective for
Out-of-Distribution (OOD) detection. In the second part of the thesis, we study
the significant impact of OOD objects on semi-supervised learning (SSL) for
DNNs and develop a novel framework to improve the robustness of existing SSL
algorithms against OODs. In the last part of the thesis, we create a general
learning framework to quantity multiple uncertainty types for multi-label
temporal neural networks. We further develop novel uncertainty fusion operators
to quantify the fused uncertainty of a subsequence for early event detection.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)は非常に注目を集め、画像やビデオ分析、自然言語処理、レコメンデーションシステム、薬物発見など、様々な応用で大きな成功を収めている。
しかし、異なる根本原因に由来する固有の不確実性は、DNNが実世界の問題に対して堅牢で信頼性の高い解決策を見つけるための深刻なハードルとして認識されている。
このような不確実性に対する考慮の欠如は、不要なリスクを引き起こす可能性がある。
例えば、自動運転車は道路上の人間を誤検出することができる。
ディープラーニングベースの医療アシスタントは、がんを良性腫瘍と誤診することがある。
本研究では、DNNの異なる不確実性要因を計測し、それを用いて多様な意思決定問題をより効果的に解決する方法を検討する。
本論文の第1部では,不確実性(証拠の欠如による不確実性)や不協和性(すなわち矛盾する証拠による不確実性)といった,異なる根本原因に起因する複数の不確実性を定量化する汎用学習フレームワークを開発した。
異なる不確実性タイプ間の関係を理論的に解析する。
さらに, 不協和が誤分類検出に最も有効であり, 迷路は外分布(ood)検出に最も有効であることを示す。
論文の第2部では,OODオブジェクトがDNNの半教師付き学習(SSL)に与える影響について検討し,OODに対する既存のSSLアルゴリズムの堅牢性を改善するための新しいフレームワークを開発した。
論文の最後の部分では,複数ラベルの時間的ニューラルネットワークに対して,複数の不確かさタイプを量化する汎用学習フレームワークを構築した。
さらに,初期事象検出のためのサブシーケンスの不確かさを定量化するために,新しい不確実性融合演算子を開発した。
関連論文リスト
- Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳（メタデータ） (2023-06-05T06:46:53Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳（メタデータ） (2022-05-20T10:10:32Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳（メタデータ） (2021-09-13T16:19:25Z) - Detecting OODs as datapoints with High Uncertainty [12.040347694782007]
ディープニューラルネットワーク(DNN)は、オフ・オブ・ディストリビューション・インプット(OOD)に非常に高い信頼を持つ誤った予測を生成することが知られている。
この制限は、自律運転、航空交通管理、医療診断などの高信頼システムにおけるDNNの採用における重要な課題の1つである。
モデルの予測が信頼できない入力を検出するために、いくつかの技術が開発されている。
我々は,これらの手法の検知能力の違いを実証し,不確実性の高いデータポイントとしてOODを検出するためのアンサンブルアプローチを提案する。
論文 参考訳（メタデータ） (2021-08-13T20:07:42Z) - Confidence Aware Neural Networks for Skin Cancer Detection [12.300911283520719]
画像からの皮膚癌検出における不確かさを定量化する3つの方法を提案する。
その結果, 予測不確実性推定手法は, リスクや誤予測を予測できることがわかった。
また、アンサンブルアプローチは推論によって不確実性を捉える上でより信頼性が高いことを示す。
論文 参考訳（メタデータ） (2021-07-19T19:21:57Z) - A Survey of Uncertainty in Deep Neural Networks [39.68313590688467]
これは、ニューラルネットワークにおける不確実性推定に関心のある人に、幅広い概要と導入を提供することを目的としている。
最も重要な不確実性源を包括的に紹介し、再現可能なモデル不確実性への分離と、再現可能なデータ不確実性について述べる。
本稿では,ニューラルネットワークのキャリブレーションに対する様々な不確実性,アプローチ,既存のベースラインと実装の概要について論じる。
論文 参考訳（メタデータ） (2021-07-07T16:39:28Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。
実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2021-01-28T16:38:26Z) - Multidimensional Uncertainty-Aware Evidential Neural Networks [21.716045815385268]
非可逆性(OOD)検出問題を解決するために、WGAN-ENN(WENN)と呼ばれる新しい不確実性認識NNを提案する。
我々は、Wasserstein Generative Adrial Network(WGAN)とENNを組み合わせて、あるクラスの事前知識でモデルを共同で訓練するハイブリッドアプローチを採用した。
WENNによる不確実性の推定は、OODサンプルと境界サンプルを有意に区別するのに役立つことを実証した。
論文 参考訳（メタデータ） (2020-12-26T04:28:56Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - A cognitive based Intrusion detection system [0.0]
侵入検知は、コンピュータネットワークのセキュリティを提供する重要なメカニズムの1つである。
本稿では,Deep Neural Network Ans Supportctor Machine Classifierに基づく新しい手法を提案する。
提案手法は, 侵入検知に類似した手法により, より精度良く攻撃を予測できる。
論文 参考訳（メタデータ） (2020-05-19T13:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。