論文の概要: Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2102.01906v1
• Date: Wed, 3 Feb 2021 06:54:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 17:45:02.592148
• Title: Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting
• Title（参考訳）: 不確実性への注意を忘れることなく, カタストロフィック・フォーミングを緩和する
• Authors: Vinod K Kurmi, Badri N. Patro, Venkatesh K. Subramanian, Vinay P. Namboodiri
• Abstract要約: ディープラーニングモデルの大きな制限の1つは、漸進的な学習シナリオにおいて、破滅的な忘れに直面していることだ。 ベイズ式を定式化して,不確実性をモデル化する。 漸進的な学習問題に対処するために、自己認識フレームワークも組み込んでいます。
• 参考スコア（独自算出の注目度）: 29.196246255389664
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: One of the major limitations of deep learning models is that they face catastrophic forgetting in an incremental learning scenario. There have been several approaches proposed to tackle the problem of incremental learning. Most of these methods are based on knowledge distillation and do not adequately utilize the information provided by older task models, such as uncertainty estimation in predictions. The predictive uncertainty provides the distributional information can be applied to mitigate catastrophic forgetting in a deep learning framework. In the proposed work, we consider a Bayesian formulation to obtain the data and model uncertainties. We also incorporate self-attention framework to address the incremental learning problem. We define distillation losses in terms of aleatoric uncertainty and self-attention. In the proposed work, we investigate different ablation analyses on these losses. Furthermore, we are able to obtain better results in terms of accuracy on standard benchmarks.
• Abstract（参考訳）: ディープラーニングモデルの大きな制限の1つは、漸進的な学習シナリオにおいて壊滅的な忘れに直面することだ。 インクリメンタル学習の問題に取り組むために、いくつかのアプローチが提案されている。 これらの手法の多くは知識蒸留に基づいており、予測の不確実性推定のような古いタスクモデルが提供する情報を適切に利用していない。 予測の不確実性は、深層学習フレームワークにおける破滅的な忘れを緩和するために、分布情報を適用することができる。 提案手法では,データとモデルの不確実性を得るためにベイズ式を考える。 インクリメンタルな学習問題に対処するために、セルフアテンションフレームワークも取り入れています。 蒸留の損失を,アレータリック不確実性と自己注意の観点から定義する。 本研究では,これらの損失について異なるアブレーション解析を行った。 さらに、標準ベンチマークの精度の観点から、より良い結果を得ることができる。

関連論文リスト

• Efficient Normalized Conformal Prediction and Uncertainty Quantification for Anti-Cancer Drug Sensitivity Prediction with Deep Regression Forests [0.0]
  予測間隔で機械学習モデルをペアリングするための有望な方法として、コンフォーマル予測が登場した。 本研究では,深部回帰林から得られた分散度を算出し,各試料の不確かさを推定する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T19:09:53Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
  本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。 本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-07-14T12:50:09Z)
• Training Uncertainty-Aware Classifiers with Conformalized Deep Learning [7.837881800517111]
  ディープニューラルネットワークは、データ内の隠れパターンを検出し、それらを活用して予測する強力なツールであるが、不確実性を理解するように設計されていない。 我々は予測力を犠牲にすることなく、より信頼性の高い不確実性推定を導出できる新しいトレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-05-12T05:08:10Z)
• Data Uncertainty without Prediction Models [0.8223798883838329]
  予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。 距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
  論文  参考訳（メタデータ） (2022-04-25T13:26:06Z)
• Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
  ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。 本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
  論文  参考訳（メタデータ） (2021-12-15T15:17:02Z)
• Diffusion Tensor Estimation with Uncertainty Calibration [6.5085381751712506]
  本研究では,拡散テンソルを推定し,推定の不確実性を計算する深層学習手法を提案する。 データ依存の不確実性はネットワークによって直接計算され、損失減衰によって学習される。 提案手法によって計算された推定の不確実性は,モデルのバイアスを強調し,領域シフトを検出し,測定における雑音の強さを反映できることを示す。
  論文  参考訳（メタデータ） (2021-11-21T15:58:01Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Exploring Uncertainty in Deep Learning for Construction of Prediction Intervals [27.569681578957645]
  深層学習における不確実性を探究し,予測区間を構築する。 不確実性ラベルなしで不確実性を学習できる特殊損失関数を設計した。 本手法は予測間隔の構成と不確実性推定とを関連付ける。
  論文  参考訳（メタデータ） (2021-04-27T02:58:20Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。