論文の概要: Confidence-Aware Learning for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2007.01458v3
• Date: Thu, 13 Aug 2020 03:16:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:25:10.985437
• Title: Confidence-Aware Learning for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのための信頼度認識学習
• Authors: Jooyoung Moon, Jihyo Kim, Younghak Shin, Sangheum Hwang
• Abstract要約: 本稿では,新たな損失関数であるCorrectness Ranking Lossを用いたディープニューラルネットワークのトレーニング手法を提案する。 クラス確率を明示的に規則化し、信頼度に応じて順序付けされたランキングでより良い信頼度の推定を行う。 従来の深層分類器とほぼ同じ計算コストを持ち、1つの推論で信頼性のある予測を出力する。
• 参考スコア（独自算出の注目度）: 4.9812879456945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the power of deep neural networks for a wide range of tasks, an overconfident prediction issue has limited their practical use in many safety-critical applications. Many recent works have been proposed to mitigate this issue, but most of them require either additional computational costs in training and/or inference phases or customized architectures to output confidence estimates separately. In this paper, we propose a method of training deep neural networks with a novel loss function, named Correctness Ranking Loss, which regularizes class probabilities explicitly to be better confidence estimates in terms of ordinal ranking according to confidence. The proposed method is easy to implement and can be applied to the existing architectures without any modification. Also, it has almost the same computational costs for training as conventional deep classifiers and outputs reliable predictions by a single inference. Extensive experimental results on classification benchmark datasets indicate that the proposed method helps networks to produce well-ranked confidence estimates. We also demonstrate that it is effective for the tasks closely related to confidence estimation, out-of-distribution detection and active learning.
• Abstract（参考訳）: 幅広いタスクに対するディープニューラルネットワークのパワーにもかかわらず、自信過剰な予測問題は、多くの安全クリティカルなアプリケーションで実用的利用を制限している。 この問題を軽減するために多くの最近の研究が提案されているが、そのほとんどは、トレーニングや推論フェーズにおける追加の計算コストや、信頼性見積を別々に出力するためにカスタマイズされたアーキテクチャを必要とする。 本稿では,信頼度に応じた信頼度推定の精度を高めるために,クラス確率を明示的に定式化する新しい損失関数「正確度ランキング損失」を用いた深層ニューラルネットワークの学習手法を提案する。 提案手法は実装が容易であり,既存アーキテクチャにも適用可能である。 また、従来の深層分類器とほとんど同じ計算コストを持ち、単一の推論によって信頼できる予測を出力する。 分類ベンチマークデータセットの広範な実験結果から,提案手法がネットワークの信頼度推定に有効であることが示された。 また,信頼度推定,分布外検出,アクティブラーニングと密接に関連したタスクに有効であることを示す。

関連論文リスト

• Likelihood-ratio-based confidence intervals for neural networks [1.4610038284393165]
  本稿では、ニューラルネットワークに対する信頼区間を構築するための、新しい確率比に基づくアプローチを初めて導入する。 この手法の現在の実装は、多くのディープラーニングアプリケーションでは違法にコストがかかるが、医療予測や天体物理学のような特定の分野において、すでに高いコストが正当化されている可能性がある。 この研究は、確率比に基づく不確実性推定の有意義な可能性を強調し、将来の研究への有望な道筋を確立する。
  論文  参考訳（メタデータ） (2023-08-04T09:34:48Z)
• Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
  不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。 特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
  論文  参考訳（メタデータ） (2023-06-09T05:15:53Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Towards Robust Deep Learning using Entropic Losses [0.0]
  この論文は、新規な損失関数と検出スコアを提案することにより、未解決のアウト・オブ・ディストリビューション検出タスクに取り組む。 また、この頑健性に関連するタスクにも対処し、ディープニューラルネットワークによって提示される確率がどれほど現実的であるかを評価する。
  論文  参考訳（メタデータ） (2022-08-06T18:52:39Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Increasing the Confidence of Deep Neural Networks by Coverage Analysis [71.57324258813674]
  本稿では、異なる安全でない入力に対してモデルを強化するために、カバレッジパラダイムに基づく軽量な監視アーキテクチャを提案する。 実験結果から,提案手法は強力な対向例とアウト・オブ・ディストリビューション・インプットの両方を検出するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T16:38:26Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation [1.2891210250935146]
  本稿では,ディープニューラルネットワーク(DNN)の高精度な不確実性推定手法を提案する。 我々は,Deep-Sub-Ensembles法によって提案される利点を利用して,推定時間を比較的低く保つ。 その結果,いくつかの不確実性対策における分類課題と競争結果の精度が向上した。
  論文  参考訳（メタデータ） (2020-10-05T10:59:11Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Grasping Detection Network with Uncertainty Estimation for Confidence-Driven Semi-Supervised Domain Adaptation [17.16216430459064]
  本稿では,信頼駆動型半教師付き学習を用いた新たな把握検出ネットワークを通じて,ドメイン適応が容易なアプローチを提案する。 提案した把握検出ネットワークは,特徴ピラミッドネットワーク(FPN)を利用した予測不確実性推定機構を特に提供し,平均教師半教師学習は,そのような不確実性情報を利用して,信頼度の高い非競合データに対してのみ整合性損失を強調する。 提案したネットワークは,コーネル把握データセット上で高い成功率を達成できることを示すとともに,極めて限られたデータでドメイン適応を行う場合,信頼駆動型平均教師は,元の平均教師と直接訓練を10%以上向上させる。
  論文  参考訳（メタデータ） (2020-08-20T07:42:45Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。