論文の概要: TEDL: A Two-stage Evidential Deep Learning Method for Classification Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2209.05522v1
• Date: Mon, 12 Sep 2022 18:08:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-14 12:16:30.694056
• Title: TEDL: A Two-stage Evidential Deep Learning Method for Classification Uncertainty Quantification
• Title（参考訳）: TEDL:不確実性定量化のための2段階の証拠深層学習手法
• Authors: Xue Li, Wei Shen, Denis Charles
• Abstract要約: 分類タスクにおける深層学習モデルの不確実性を定量化する2段階学習手法を提案する。 提案する2段階学習フレームワークは,AUCを大幅に向上し,トレーニングの堅牢性を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 8.246782042590251
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we propose TEDL, a two-stage learning approach to quantify uncertainty for deep learning models in classification tasks, inspired by our findings in experimenting with Evidential Deep Learning (EDL) method, a recently proposed uncertainty quantification approach based on the Dempster-Shafer theory. More specifically, we observe that EDL tends to yield inferior AUC compared with models learnt by cross-entropy loss and is highly sensitive in training. Such sensitivity is likely to cause unreliable uncertainty estimation, making it risky for practical applications. To mitigate both limitations, we propose a simple yet effective two-stage learning approach based on our analysis on the likely reasons causing such sensitivity, with the first stage learning from cross-entropy loss, followed by a second stage learning from EDL loss. We also re-formulate the EDL loss by replacing ReLU with ELU to avoid the Dying ReLU issue. Extensive experiments are carried out on varied sized training corpus collected from a large-scale commercial search engine, demonstrating that the proposed two-stage learning framework can increase AUC significantly and greatly improve training robustness.
• Abstract（参考訳）: 本稿では,Dempster-Shafer理論に基づく最近の不確実性定量化手法であるEvidential Deep Learning (EDL) 法の実験から着想を得た,分類タスクにおける深層学習モデルの不確かさを定量化する2段階学習手法であるTEDLを提案する。 より具体的には、edlはクロスエントロピー損失によって学習されるモデルに比べてaucが劣る傾向にあり、トレーニングにおいて非常に敏感である。 このような感度は信頼性の低い不確実性推定を引き起こす可能性があり、実用的な応用には危険である。 両制約を緩和するため,本研究では,このような感度の原因となる可能性のある2段階学習法を,第1段階はクロスエントロピー損失から学習し,第2段階はEDL損失から学習する。 また、Dying ReLU問題を回避するために、ReLUをELUに置き換えることで、EDL損失を再計算する。 大規模商用検索エンジンから収集した多種多様なトレーニングコーパスを用いた大規模実験を行い,提案する2段階学習フレームワークがaucを大幅に増加させ,トレーニングの堅牢性を大幅に向上させることを示す。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• DELTA: Decoupling Long-Tailed Online Continual Learning [7.507868991415516]
  Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-06T02:33:04Z)
• Are Uncertainty Quantification Capabilities of Evidential Deep Learning a Mirage? [35.15844215216846]
  EDL法は,特定の目的関数を最小化することにより,予測分布上のメタ分布を学習する。 近年の研究では、学習した不確実性は信頼できないと結論づける既存の方法の限界が特定されている。 本研究では,多種多様な目的関数を統一することにより,多種多様なEDL手法の挙動をより深く理解する。 我々は,EDL法が下流タスクに実証的に有効であるとしても,不確実な定量化能力に乏しいにもかかわらず,これは発生すると結論付けた。
  論文  参考訳（メタデータ） (2024-02-09T03:23:39Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• Cooperative Deep $Q$-learning Framework for Environments Providing Image Feedback [5.607676459156789]
  本稿では, 深層強化学習, サンプル非効率性, 遅い学習の2つの課題を, NN駆動学習の2つのアプローチで解決する。 特に、時間差(TD)誤差駆動学習手法を開発し、TD誤差の線形変換のセットを導入し、ディープNNの各層のパラメータを直接更新する。 提案手法は学習と収束を高速化し,バッファサイズの削減を必要とすることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:12:41Z)
• Stratified Learning: A General-Purpose Statistical Method for Improved Learning under Covariate Shift [1.1470070927586016]
  本稿では,学習セットが代表的でない場合の教師あり学習を改善するための,シンプルで統計的に原理化された理論的に正当化された手法を提案する。 因果推論において確立された方法論を基礎として,共変量シフトの影響を条件付けによって低減・排除できることを示す。 本稿では,宇宙論における2つの現代の研究課題に対する汎用的手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-21T15:53:20Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。