論文の概要: Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications

• arxiv url: http://arxiv.org/abs/2302.01440v1
• Date: Thu, 2 Feb 2023 22:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 18:08:07.388852
• Title: Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications
• Title（参考訳）: ディープニューラルネットワークの一般化された不確実性:分類とその応用
• Authors: Chengyu Dong
• Abstract要約: ディープニューラルネットワークの不確実性は、解釈可能性と透明性の感覚において重要であるだけでなく、パフォーマンスをさらに向上するためにも重要であることを示す。 我々は、ディープニューラルネットワークの不確実性の定義を、入力またはインプットラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさをディープモデルから「マイニングに関する既存の方法」をカタログ化する。
• 参考スコア（独自算出の注目度）: 1.9671123873378717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have seen enormous success in various real-world applications. Beyond their predictions as point estimates, increasing attention has been focused on quantifying the uncertainty of their predictions. In this review, we show that the uncertainty of deep neural networks is not only important in a sense of interpretability and transparency, but also crucial in further advancing their performance, particularly in learning systems seeking robustness and efficiency. We will generalize the definition of the uncertainty of deep neural networks to any number or vector that is associated with an input or an input-label pair, and catalog existing methods on ``mining'' such uncertainty from a deep model. We will include those methods from the classic field of uncertainty quantification as well as those methods that are specific to deep neural networks. We then show a wide spectrum of applications of such generalized uncertainty in realistic learning tasks including robust learning such as noisy learning, adversarially robust learning; data-efficient learning such as semi-supervised and weakly-supervised learning; and model-efficient learning such as model compression and knowledge distillation.
• Abstract（参考訳）: ディープニューラルネットワークは、様々な現実世界のアプリケーションで大きな成功を収めています。 ポイント推定としての予測以外にも、予測の不確かさの定量化に注目が集まっている。 本総説では,深層ニューラルネットワークの不確実性は,解釈可能性や透明性という意味では重要であるだけでなく,特に堅牢性と効率性を求める学習システムにおいて,その性能をさらに向上させる上でも重要であることを示す。 我々は、深層ニューラルネットワークの不確実性の定義を、入力または入力ラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさを深層モデルから「マイニング」する既存の手法をカタログ化する。 我々は、従来の不確実性定量化の分野の手法と、ディープニューラルネットワークに特有の手法を含める。 次に, 雑音学習, 敵対的ロバスト学習, 半教師付き学習, 弱教師付き学習などのデータ効率のよい学習, モデル圧縮や知識蒸留といったモデル効率のよい学習など, 現実的な学習タスクにおける一般化された不確かさの幅広い応用例を示す。

関連論文リスト

• Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
  ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。 根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。 最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-12T15:02:26Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction [50.79827516897913]
  本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。 実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-16T06:28:20Z)
• Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning [5.130440339897478]
  ディープニューラルネットワーク(DNN)を安全クリティカルなアプリケーションに導入するには、モデルの不確実性を徹底的に扱う必要がある。 本稿では、新しいオブジェクトクラスに遭遇したとき、DNNに不確実性を示す方法について調査する。 また、不確実性定量化の助けを借りて、少数のラベルから学習する訓練方法を提案する。
  論文  参考訳（メタデータ） (2022-05-30T08:31:03Z)
• Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration [12.05471394131891]
  我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。 我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-01T21:16:34Z)
• A Survey of Uncertainty in Deep Neural Networks [39.68313590688467]
  これは、ニューラルネットワークにおける不確実性推定に関心のある人に、幅広い概要と導入を提供することを目的としている。 最も重要な不確実性源を包括的に紹介し、再現可能なモデル不確実性への分離と、再現可能なデータ不確実性について述べる。 本稿では,ニューラルネットワークのキャリブレーションに対する様々な不確実性,アプローチ,既存のベースラインと実装の概要について論じる。
  論文  参考訳（メタデータ） (2021-07-07T16:39:28Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users [27.764388500937983]
  ベイズ統計は、ディープニューラルネットワーク予測に関連する不確実性を理解し、定量化するフォーマリズムを提供する。 このチュートリアルでは、関連する文献の概要と、ベイズニューラルネットワークの設計、実装、使用、評価のための完全なツールセットを提供する。
  論文  参考訳（メタデータ） (2020-07-14T05:21:27Z)
• Bayesian Neural Networks [0.0]
  ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。 さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
  論文  参考訳（メタデータ） (2020-06-02T09:43:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。