論文の概要: TEDL: A Two-stage Evidential Deep Learning Method for Classification
Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2209.05522v1
- Date: Mon, 12 Sep 2022 18:08:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-14 12:16:30.694056
- Title: TEDL: A Two-stage Evidential Deep Learning Method for Classification
Uncertainty Quantification
- Title(参考訳): TEDL:不確実性定量化のための2段階の証拠深層学習手法
- Authors: Xue Li, Wei Shen, Denis Charles
- Abstract要約: 分類タスクにおける深層学習モデルの不確実性を定量化する2段階学習手法を提案する。
提案する2段階学習フレームワークは,AUCを大幅に向上し,トレーニングの堅牢性を大幅に向上させることができることを示す。
- 参考スコア(独自算出の注目度): 8.246782042590251
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose TEDL, a two-stage learning approach to quantify
uncertainty for deep learning models in classification tasks, inspired by our
findings in experimenting with Evidential Deep Learning (EDL) method, a
recently proposed uncertainty quantification approach based on the
Dempster-Shafer theory. More specifically, we observe that EDL tends to yield
inferior AUC compared with models learnt by cross-entropy loss and is highly
sensitive in training. Such sensitivity is likely to cause unreliable
uncertainty estimation, making it risky for practical applications. To mitigate
both limitations, we propose a simple yet effective two-stage learning approach
based on our analysis on the likely reasons causing such sensitivity, with the
first stage learning from cross-entropy loss, followed by a second stage
learning from EDL loss. We also re-formulate the EDL loss by replacing ReLU
with ELU to avoid the Dying ReLU issue. Extensive experiments are carried out
on varied sized training corpus collected from a large-scale commercial search
engine, demonstrating that the proposed two-stage learning framework can
increase AUC significantly and greatly improve training robustness.
- Abstract(参考訳): 本稿では,Dempster-Shafer理論に基づく最近の不確実性定量化手法であるEvidential Deep Learning (EDL) 法の実験から着想を得た,分類タスクにおける深層学習モデルの不確かさを定量化する2段階学習手法であるTEDLを提案する。
より具体的には、edlはクロスエントロピー損失によって学習されるモデルに比べてaucが劣る傾向にあり、トレーニングにおいて非常に敏感である。
このような感度は信頼性の低い不確実性推定を引き起こす可能性があり、実用的な応用には危険である。
両制約を緩和するため,本研究では,このような感度の原因となる可能性のある2段階学習法を,第1段階はクロスエントロピー損失から学習し,第2段階はEDL損失から学習する。
また、Dying ReLU問題を回避するために、ReLUをELUに置き換えることで、EDL損失を再計算する。
大規模商用検索エンジンから収集した多種多様なトレーニングコーパスを用いた大規模実験を行い,提案する2段階学習フレームワークがaucを大幅に増加させ,トレーニングの堅牢性を大幅に向上させることを示す。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Delving into the Adversarial Robustness of Federated Learning [41.409961662754405]
フェデレートラーニング(FL)では、モデルは敵の例に対して中心的に訓練されたモデルと同じくらい脆弱である。
FLシステムの精度と堅牢性を改善するために,DBFAT(Decision boundary based Federated Adversarial Training)と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-19T04:54:25Z) - Unbiased and Efficient Self-Supervised Incremental Contrastive Learning [31.763904668737304]
本稿では,新たなIncremental InfoNCE(NCE-II)損失関数からなる自己教師型Incremental Contrastive Learning(ICL)フレームワークを提案する。
ICLは最大16.7倍のトレーニングスピードアップと16.8倍の高速収束を実現している。
論文 参考訳(メタデータ) (2023-01-28T06:11:31Z) - Imitating, Fast and Slow: Robust learning from demonstrations via
decision-time planning [96.72185761508668]
テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。
IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-07T17:16:52Z) - Deterministic and Discriminative Imitation (D2-Imitation): Revisiting
Adversarial Imitation for Sample Efficiency [61.03922379081648]
本稿では,敵対的トレーニングやmin-max最適化を必要としない非政治的サンプル効率の手法を提案する。
実験の結果, D2-Imitation はサンプル効率の向上に有効であることが示唆された。
論文 参考訳(メタデータ) (2021-12-11T19:36:19Z) - Cooperative Deep $Q$-learning Framework for Environments Providing Image
Feedback [5.607676459156789]
本稿では, 深層強化学習, サンプル非効率性, 遅い学習の2つの課題を, NN駆動学習の2つのアプローチで解決する。
特に、時間差(TD)誤差駆動学習手法を開発し、TD誤差の線形変換のセットを導入し、ディープNNの各層のパラメータを直接更新する。
提案手法は学習と収束を高速化し,バッファサイズの削減を必要とすることを示す。
論文 参考訳(メタデータ) (2021-10-28T17:12:41Z) - Stratified Learning: A General-Purpose Statistical Method for Improved
Learning under Covariate Shift [1.1470070927586016]
本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。
因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。
本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
論文 参考訳(メタデータ) (2021-06-21T15:53:20Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-05T04:19:37Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。