論文の概要: Self-Distribution Distillation: Efficient Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2203.08295v1
• Date: Tue, 15 Mar 2022 22:18:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 06:49:54.942125
• Title: Self-Distribution Distillation: Efficient Uncertainty Estimation
• Title（参考訳）: 自己分配蒸留:効率的な不確実性推定
• Authors: Yassir Fathullah and Mark J. F. Gales
• Abstract要約: 適切な決定がシステムによって下されることを保証するためには,モデルの予測における不確実性のレベルを知ることが重要である。 ディープアンサンブルは、様々な不確実性の尺度を得るためのデファクトスタンダードアプローチである。 本稿では,不確かさを推定できる単一モデルを効率的に訓練できる,新しい訓練手法である自己分配蒸留(S2D)を提案する。
• 参考スコア（独自算出の注目度）: 42.258650499081575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning is increasingly being applied in safety-critical domains. For these scenarios it is important to know the level of uncertainty in a model's prediction to ensure appropriate decisions are made by the system. Deep ensembles are the de-facto standard approach to obtaining various measures of uncertainty. However, ensembles often significantly increase the resources required in the training and/or deployment phases. Approaches have been developed that typically address the costs in one of these phases. In this work we propose a novel training approach, self-distribution distillation (S2D), which is able to efficiently train a single model that can estimate uncertainties. Furthermore it is possible to build ensembles of these models and apply hierarchical ensemble distillation approaches. Experiments on CIFAR-100 showed that S2D models outperformed standard models and Monte-Carlo dropout. Additional out-of-distribution detection experiments on LSUN, Tiny ImageNet, SVHN showed that even a standard deep ensemble can be outperformed using S2D based ensembles and novel distilled models.
• Abstract（参考訳）: ディープラーニングは、安全クリティカルな領域にますます適用されています。 これらのシナリオでは、システムによって適切な決定が行われることを保証するために、モデルの予測の不確実性レベルを知ることが重要です。 深いアンサンブルは、様々な不確実性の尺度を得るためのデファクトの標準的アプローチである。 しかしながら、アンサンブルはトレーニングおよび/またはデプロイメントフェーズに必要なリソースを著しく増加させることが多い。 これらのフェーズの1つのコストに対処するアプローチが開発されている。 本研究では,不確かさを推定できる単一モデルを効率的に訓練できる自己分配蒸留(s2d)という新しい訓練手法を提案する。 さらに、これらのモデルのアンサンブルを構築し、階層的なアンサンブル蒸留アプローチを適用することができる。 CIFAR-100の実験では、S2Dモデルは標準モデルとモンテカルロのドロップアウトよりも優れていた。 LSUN, Tiny ImageNet, SVHN では, 標準の深層アンサンブルであっても, S2D ベースのアンサンブルと新しい蒸留モデルにより性能が向上することを示した。

関連論文リスト

• Stealing Stable Diffusion Prior for Robust Monocular Depth Estimation [33.140210057065644]
  本稿では, 単分子深度推定に先立って, ステアリング安定拡散 (SSD) という新しい手法を提案する。 このアプローチは、安定拡散を利用して、挑戦的な条件を模倣した合成画像を生成することにより、この制限に対処する。 このアプローチの有効性は、nuScenesとOxford RobotCarで評価されている。
  論文  参考訳（メタデータ） (2024-03-08T05:06:31Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Estimating Epistemic and Aleatoric Uncertainty with a Single Model [5.871583927216653]
  我々は,ハイパー拡散モデル(HyperDM)の新しいアプローチを提案する。 HyperDMは、予測精度を、場合によってはマルチモデルアンサンブルに匹敵する。 我々は,X線CTと気象温度予測の2つの異なる実世界の課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-02-05T19:39:52Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Functional Ensemble Distillation [18.34081591772928]
  本研究では,効率的なモデルを用いて,アンサンブルの予測を最もよく蒸留する方法を検討する。 混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-06-05T14:07:17Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Adversarial robustness for latent models: Revisiting the robust-standard accuracies tradeoff [12.386462516398472]
  標準的なテストの精度を落とすために、しばしば逆行訓練が観察される。 本稿では、このトレードオフは、データが低次元構造を楽しむ場合に緩和されると論じる。 周囲次元に対する多様体次元が減少するにつれて、標準精度とロバスト精度の両方に関してほぼ最適に近いモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-10-22T17:58:27Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。