論文の概要: Improving evidential deep learning via multi-task learning

• arxiv url: http://arxiv.org/abs/2112.09368v1
• Date: Fri, 17 Dec 2021 07:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 14:02:52.896161
• Title: Improving evidential deep learning via multi-task learning
• Title（参考訳）: マルチタスク学習による顕在的深層学習の改善
• Authors: Dongpin Oh and Bonggun Shin
• Abstract要約: 本研究の目的は,効率的な不確実性推定を維持しつつ,ENetの予測精度を向上させることである。 この目的を達成するために,MT-ENetと呼ばれるマルチタスク学習フレームワークを提案する。 MT-ENetは、合成データセットと実世界のベンチマークで不確実性推定能力を失うことなく、ENetの予測精度を向上させる。
• 参考スコア（独自算出の注目度）: 1.8275108630751844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Evidential regression network (ENet) estimates a continuous target and its predictive uncertainty without costly Bayesian model averaging. However, it is possible that the target is inaccurately predicted due to the gradient shrinkage problem of the original loss function of the ENet, the negative log marginal likelihood (NLL) loss. In this paper, the objective is to improve the prediction accuracy of the ENet while maintaining its efficient uncertainty estimation by resolving the gradient shrinkage problem. A multi-task learning (MTL) framework, referred to as MT-ENet, is proposed to accomplish this aim. In the MTL, we define the Lipschitz modified mean squared error (MSE) loss function as another loss and add it to the existing NLL loss. The Lipschitz modified MSE loss is designed to mitigate the gradient conflict with the NLL loss by dynamically adjusting its Lipschitz constant. By doing so, the Lipschitz MSE loss does not disturb the uncertainty estimation of the NLL loss. The MT-ENet enhances the predictive accuracy of the ENet without losing uncertainty estimation capability on the synthetic dataset and real-world benchmarks, including drug-target affinity (DTA) regression. Furthermore, the MT-ENet shows remarkable calibration and out-of-distribution detection capability on the DTA benchmarks.
• Abstract（参考訳）: Evidential regression network (ENet)は、ベイズ平均化を伴わない連続目標とその予測不確実性を推定する。 しかし、ENetの元々の損失関数の勾配縮小問題、負の対数限界率(NLL)損失により、ターゲットが不正確に予測される可能性がある。 本稿では,勾配縮小問題を解き明かし,効率のよい不確実性評価を維持しつつ,ENetの予測精度を向上させることを目的とする。 この目的を達成するために,MT-ENetと呼ばれるマルチタスク学習(MTL)フレームワークを提案する。 MTLでは、リプシッツ修正平均二乗誤差(MSE)損失関数を別の損失として定義し、既存のNLL損失に加算する。 リプシッツ修正MSE損失は、そのリプシッツ定数を動的に調整することにより、NLL損失との勾配矛盾を軽減するように設計されている。 これにより、リプシッツMSE損失はNLL損失の不確実性評価を妨げない。 MT-ENetは、ドラッグターゲット親和性(DTA)回帰を含む、合成データセットおよび実世界のベンチマークにおける不確実性推定能力を失うことなく、ENetの予測精度を向上させる。 さらに、mt-enetはdtaベンチマークで顕著な校正と分散検出能力を示す。

関連論文リスト

• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Adaptive Learning for Multi-view Stereo Reconstruction [6.635583283522551]
  まず,深度に基づくMVS手法において,既存の損失関数の特性を解析する。 そこで我々は,真と予測される深さの確率分布の違いを狭めることができる適応ワッサースタイン損失という新しい損失関数を提案する。 DTU, Tanks and Temples, BlendedMVS などの異なるベンチマーク実験により,適応的なワッサーシュタイン損失とオフセットモジュールを用いた提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-04-08T04:13:35Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Leveraging Heteroscedastic Uncertainty in Learning Complex Spectral Mapping for Single-channel Speech Enhancement [20.823177372464414]
  ほとんどの音声強調(SE)モデルは、ポイント推定を学習し、学習過程における不確実性推定を利用しない。 本研究では,多変量ガウス陰性ログ類似度 (NLL) を最小化することにより,SE性能を余分なコストで向上させることにより,ヘテロスセダスティック不確実性をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-11-16T02:29:05Z)
• Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
  本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。 提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:22:34Z)
• Improving MC-Dropout Uncertainty Estimates with Calibration Error-based Optimization [18.22429945073576]
  クロスエントロピーと予測エラー(ECE)と予測エントロピー(PE)を組み合わせた2つの新しい損失関数を提案する。 その結果,モデル全体の性能を犠牲にすることなく,不確かさ推定の分布と誤予測との重なりを最小化するハイブリッド損失関数の大きな影響が確認された。
  論文  参考訳（メタデータ） (2021-10-07T08:31:23Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction [63.202627467245584]
  我々は,モデル不連続な不確かさを定量化するベイズ変分フレームワークを提案する。 提案手法はMRIのアンダーサンプを用いた再建術の術後成績を示す。
  論文  参考訳（メタデータ） (2021-02-12T18:08:14Z)
• A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2021-01-07T19:12:06Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。