論文の概要: Calibrated and Sharp Uncertainties in Deep Learning via Simple Density Estimation

• arxiv url: http://arxiv.org/abs/2112.07184v1
• Date: Tue, 14 Dec 2021 06:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 17:04:48.695840
• Title: Calibrated and Sharp Uncertainties in Deep Learning via Simple Density Estimation
• Title（参考訳）: 簡易密度推定によるディープラーニングの校正と鋭い不確かさ
• Authors: Volodymyr Kuleshov, Shachi Deshpande
• Abstract要約: 本稿では,これらの特性の観点からの不確かさを推論し,それを深層学習に適用するための簡単なアルゴリズムを提案する。 本手法はキャリブレーションの最も強い概念である分布キャリブレーションに着目し,低次元密度あるいは量子関数をニューラル推定器に適合させることにより,キャリブレーションを強制する。 実験により,本手法は計算と実装のオーバーヘッドを最小限に抑えながら,いくつかのタスクにおける予測の不確実性を改善できることが判明した。
• 参考スコア（独自算出の注目度）: 7.184701179854522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive uncertainties can be characterized by two properties--calibration and sharpness. This paper argues for reasoning about uncertainty in terms these properties and proposes simple algorithms for enforcing them in deep learning. Our methods focus on the strongest notion of calibration--distribution calibration--and enforce it by fitting a low-dimensional density or quantile function with a neural estimator. The resulting approach is much simpler and more broadly applicable than previous methods across both classification and regression. Empirically, we find that our methods improve predictive uncertainties on several tasks with minimal computational and implementation overhead. Our insights suggest simple and improved ways of training deep learning models that lead to accurate uncertainties that should be leveraged to improve performance across downstream applications.
• Abstract（参考訳）: 予測的不確かさは,2つの特性-校正と鋭さを特徴とし,これらの特性の観点から不確かさを推論し,それを深層学習に適用するための単純なアルゴリズムを提案する。本手法では,低次元密度あるいは量子関数をニューラル推定器に適合させることにより,校正-分布校正という最強の概念に焦点をあてる。 結果として得られるアプローチは、分類と回帰の両方において、以前の方法よりもずっとシンプルで広く適用できる。 実験により,本手法は計算と実装のオーバーヘッドを最小限に抑えながら,いくつかのタスクにおける予測の不確実性を改善する。 私たちの洞察は、下流アプリケーション全体のパフォーマンスを改善するために活用すべき正確な不確実性につながる、ディープラーニングモデルをシンプルで改善した訓練方法を提案する。

関連論文リスト

• Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
  本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。 57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
  論文  参考訳（メタデータ） (2024-03-18T17:04:33Z)
• Calibration-then-Calculation: A Variance Reduced Metric Framework in Deep Click-Through Rate Prediction Models [16.308958212406583]
  ディープラーニングパイプラインのパフォーマンス評価に重点が置かれていない。 大きなデータセットと複雑なモデルの使用が増えると、トレーニングプロセスは一度だけ実行され、その結果は以前のベンチマークと比較される。 トレーニングプロセスを複数回実行するような従来のソリューションは、計算上の制約のため、しばしば実現不可能である。 本稿では,従来からある分散を低減し,この問題に対処するために設計された新しい計量フレームワークCalibrated Loss Metricを紹介する。
  論文  参考訳（メタデータ） (2024-01-30T02:38:23Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
  不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。 最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。 これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:01:08Z)
• Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective [67.45111837188685]
  クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。 表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
  論文  参考訳（メタデータ） (2022-06-16T11:44:11Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
  2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。 多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。 同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
  論文  参考訳（メタデータ） (2020-06-11T23:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。