論文の概要: Uncertainty Quantification and Deep Ensembles

• arxiv url: http://arxiv.org/abs/2007.08792v4
• Date: Tue, 2 Nov 2021 11:12:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:02:33.999382
• Title: Uncertainty Quantification and Deep Ensembles
• Title（参考訳）: 不確かさの定量化と深層集合
• Authors: Rahul Rahaman and Alexandre H. Thiery
• Abstract要約: ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
• 参考スコア（独自算出の注目度）: 79.4957965474334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning methods are known to suffer from calibration issues: they typically produce over-confident estimates. These problems are exacerbated in the low data regime. Although the calibration of probabilistic models is well studied, calibrating extremely over-parametrized models in the low-data regime presents unique challenges. We show that deep-ensembles do not necessarily lead to improved calibration properties. In fact, we show that standard ensembling methods, when used in conjunction with modern techniques such as mixup regularization, can lead to less calibrated models. This text examines the interplay between three of the most simple and commonly used approaches to leverage deep learning when data is scarce: data-augmentation, ensembling, and post-processing calibration methods. Although standard ensembling techniques certainly help boost accuracy, we demonstrate that the calibration of deep ensembles relies on subtle trade-offs. We also find that calibration methods such as temperature scaling need to be slightly tweaked when used with deep-ensembles and, crucially, need to be executed after the averaging process. Our simulations indicate that this simple strategy can halve the Expected Calibration Error (ECE) on a range of benchmark classification problems compared to standard deep-ensembles in the low data regime.
• Abstract（参考訳）: ディープラーニングの手法はキャリブレーションの問題に悩まされることが知られている。 これらの問題は低データ体制において悪化している。 確率モデルのキャリブレーションはよく研究されているが、低データ領域における超過パラメータモデルのキャリブレーションには独特の課題がある。 深センブルは必ずしもキャリブレーション特性の向上につながるとは限らない。 実際、ミックスアップ正規化のような現代的な技術と併用すると、標準のセンスリング手法は、より校正されたモデルに繋がる可能性がある。 このテキストは、データが不足している場合にディープラーニングを活用するための、最も単純で一般的な3つのアプローチ、すなわちデータ提供、センシング、後処理のキャリブレーションの相互作用を調べます。 標準のセンシング技術が精度を高めることは確かだが、深いアンサンブルのキャリブレーションが微妙なトレードオフに依存していることを実証する。 また,深センブルを用いた場合,温度スケーリングなどの校正手法を微調整し,平均化処理の後に実行する必要があることも判明した。 シミュレーションの結果,この単純な手法は,低データ領域の標準深センブルと比較して,様々なベンチマーク分類問題に対する期待校正誤差(ece)を半減できることが示唆された。

関連論文リスト

• Calibration in Deep Learning: A Survey of the State-of-the-Art [7.6087138685470945]
  ディープニューラルネットワークのキャリブレーションは、安全クリティカルなアプリケーションにおいて、信頼性が高く堅牢なAIシステムを構築する上で重要な役割を果たす。 近年の研究では、予測能力の高い現代のニューラルネットワークは、キャリブレーションが不十分であり、信頼性の低いモデル予測を生成することが示されている。
  論文  参考訳（メタデータ） (2023-08-02T15:28:10Z)
• Set Learning for Accurate and Calibrated Models [17.187117466317265]
  Odd-$k$-out Learningは単一の例ではなく集合のクロスエントロピー誤差を最小限にする。 OKOは、ハードラベルでトレーニングしたり、追加のキャリブレーションパラメータチューニングを落としたりしても、キャリブレーションが良くなる。
  論文  参考訳（メタデータ） (2023-07-05T12:39:58Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• The Calibration Generalization Gap [15.583540869583484]
  現代のニューラルネットワークはキャリブレーションに強い保証を与えない。 現在、どの要因が良好な校正に寄与するかは定かではない。 校正誤差を研究するための体系的な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-05T00:04:56Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Parameterized Temperature Scaling for Boosting the Expressive Power in Post-Hoc Uncertainty Calibration [57.568461777747515]
  我々は新しいキャリブレーション手法であるパラメタライズド温度スケーリング(PTS)を導入する。 最新のポストホックキャリブレータの精度保持性能は、その本質的な表現力によって制限されることを実証します。 当社の新しい精度保存手法が,多数のモデルアーキテクチャやデータセット,メトリクスにおいて,既存のアルゴリズムを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-24T10:18:30Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• When and How Mixup Improves Calibration [19.11486078732542]
  多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。 本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。 ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
  論文  参考訳（メタデータ） (2021-02-11T22:24:54Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning [21.08664370117846]
  我々は,Mix-n-Matchキャリブレーション戦略が,データ効率と表現力を大幅に向上することを示す。 標準評価プラクティスの潜在的な問題も明らかにします。 我々の手法はキャリブレーションと評価タスクの両方において最先端のソリューションより優れている。
  論文  参考訳（メタデータ） (2020-03-16T17:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。