論文の概要: Revisiting Essential and Nonessential Settings of Evidential Deep Learning

• arxiv url: http://arxiv.org/abs/2410.00393v1
• Date: Tue, 1 Oct 2024 04:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:56:31.257520
• Title: Revisiting Essential and Nonessential Settings of Evidential Deep Learning
• Title（参考訳）: 情報深層学習の基本的・無意味な設定を再考する
• Authors: Mengyuan Chen, Junyu Gao, Changsheng Xu,
• Abstract要約: Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
• 参考スコア（独自算出の注目度）: 70.82728812001807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evidential Deep Learning (EDL) is an emerging method for uncertainty estimation that provides reliable predictive uncertainty in a single forward pass, attracting significant attention. Grounded in subjective logic, EDL derives Dirichlet concentration parameters from neural networks to construct a Dirichlet probability density function (PDF), modeling the distribution of class probabilities. Despite its success, EDL incorporates several nonessential settings: In model construction, (1) a commonly ignored prior weight parameter is fixed to the number of classes, while its value actually impacts the balance between the proportion of evidence and its magnitude in deriving predictive scores. In model optimization, (2) the empirical risk features a variance-minimizing optimization term that biases the PDF towards a Dirac delta function, potentially exacerbating overconfidence. (3) Additionally, the structural risk typically includes a KL-divergence-minimizing regularization, whose optimization direction extends beyond the intended purpose and contradicts common sense, diminishing the information carried by the evidence magnitude. Therefore, we propose Re-EDL, a simplified yet more effective variant of EDL, by relaxing the nonessential settings and retaining the essential one, namely, the adoption of projected probability from subjective logic. Specifically, Re-EDL treats the prior weight as an adjustable hyperparameter rather than a fixed scalar, and directly optimizes the expectation of the Dirichlet PDF provided by deprecating both the variance-minimizing optimization term and the divergence regularization term. Extensive experiments and state-of-the-art performance validate the effectiveness of our method. The source code is available at https://github.com/MengyuanChen21/Re-EDL.
• Abstract（参考訳）: Evidential Deep Learning (EDL) は、単一の前方通過において確実な予測不確実性を提供する不確実性推定の新しい手法である。 主観論理に基づいて、EDLはディリクレ濃度パラメータをニューラルネットワークから導出し、ディリクレ確率密度関数(PDF)を構築し、クラス確率の分布をモデル化する。 モデル構築において、(1) 一般的に無視される事前重みパラメータはクラス数に固定されるが、その値は実際に証拠の割合と予測スコアの最大値のバランスに影響を及ぼす。 モデル最適化において、(2)経験的リスクは、PDFをディラックデルタ関数に偏り、過信を悪化させる可能性のある分散最小化最適化項を特徴とする。 さらに、構造リスクは典型的にはKL分割最小化正規化を含み、最適化方向は目的を超えて広がり、共通感覚と矛盾し、エビデンス・マグニチュードによってもたらされる情報を減少させる。 そこで,本論文では,主観論理から有意な設定を緩和し,有意な設定,すなわち予測された確率の採用を保ちながら,EDLのよりシンプルかつ効果的な変種であるRe-EDLを提案する。 具体的には、Re-EDLは、前の重みを固定スカラーではなく調整可能なハイパーパラメータとして扱い、分散最小化最適化項と分散正規化項の両方を非推奨にすることで提供されるディリクレPDFの期待を直接最適化する。 大規模な実験と最先端の性能試験により,本手法の有効性が検証された。 ソースコードはhttps://github.com/MengyuanChen21/Re-EDLで公開されている。

関連論文リスト

• Uncertainty Estimation by Density Aware Evidential Deep Learning [7.328039160501826]
  Evidential Deep Learning (EDL) は不確実性評価において顕著な成功を収めた。 本稿では,DAEDL(Dedentity Aware Evidential Deep Learning)と呼ばれる新しい手法を提案する。 DAEDLは、テスト例の特徴空間密度と予測段階におけるEDLの出力を統合する。 これは、不確実性推定と分類に関連する様々な下流タスクにまたがる最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-13T12:04:45Z)
• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々のフレームワークは、高次モーメント、特にカルトーシスを付加することにより、エラー分散モデリングの柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Proposal Distribution Calibration for Few-Shot Object Detection [65.19808035019031]
  few-shot object detection (FSOD)では、重度のサンプル不均衡を軽減するために、2段階の訓練パラダイムが広く採用されている。 残念ながら、極端なデータ不足は、提案の分布バイアスを増大させ、RoIヘッドが新しいクラスに進化するのを妨げます。 本稿では,RoIヘッドのローカライゼーションと分類能力を高めるために,単純かつ効果的な提案分布キャリブレーション(PDC)手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T05:09:11Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。