論文の概要: A general framework for ensemble distribution distillation

• arxiv url: http://arxiv.org/abs/2002.11531v2
• Date: Fri, 8 Jan 2021 11:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 14:15:21.033126
• Title: A general framework for ensemble distribution distillation
• Title（参考訳）: アンサンブル分散蒸留のための一般的な枠組み
• Authors: Jakob Lindqvist, Amanda Olmin, Fredrik Lindsten, Lennart Svensson
• Abstract要約: ニューラルネットワークのアンサンブルは、予測や不確実性推定の観点から、シングルネットワークよりも優れたパフォーマンスを示すことが示されている。 本稿では,分解の保存方法として,回帰アンサンブルと分類アンサンブルの両方を蒸留する枠組みを提案する。
• 参考スコア（独自算出の注目度）: 14.996944635904402
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembles of neural networks have been shown to give better performance than single networks, both in terms of predictions and uncertainty estimation. Additionally, ensembles allow the uncertainty to be decomposed into aleatoric (data) and epistemic (model) components, giving a more complete picture of the predictive uncertainty. Ensemble distillation is the process of compressing an ensemble into a single model, often resulting in a leaner model that still outperforms the individual ensemble members. Unfortunately, standard distillation erases the natural uncertainty decomposition of the ensemble. We present a general framework for distilling both regression and classification ensembles in a way that preserves the decomposition. We demonstrate the desired behaviour of our framework and show that its predictive performance is on par with standard distillation.
• Abstract（参考訳）: ニューラルネットワークのアンサンブルは、予測と不確実性推定の両方の観点から、単一ネットワークよりも優れたパフォーマンスをもたらすことが示されている。 さらに、アンサンブルは不確実性をアレタリック(データ)成分とてんかん(モデル)成分に分解することができ、予測の不確実性のより完全な画像を与える。 アンサンブル蒸留は、アンサンブルを単一のモデルに圧縮するプロセスであり、多くの場合、個々のアンサンブルメンバーよりも優れたランダーモデルをもたらす。 残念なことに、標準蒸留はアンサンブルの自然な不確実性分解を消す。 本稿では,分解を保ちながら,回帰と分類の両アンサンブルを蒸留する一般的な枠組みを提案する。 我々は,本フレームワークの所望の挙動を実証し,その予測性能が標準蒸留と同等であることを示す。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Normalizing Flow Ensembles for Rich Aleatoric and Epistemic Uncertainty Modeling [21.098866735156207]
  そこで本研究では,アレータティック不確実性のモデル化における最先端技術である正規化フロー(NF)のアンサンブルを提案する。 アンサンブルは固定されたドロップアウトマスクのセットで作られ、別個のNFモデルを作るよりも安価である。 本研究では,NFsの特異な構造,基底分布を利用して,試料に依存することなくアレータティック不確かさを推定する方法を実証する。
  論文  参考訳（メタデータ） (2023-02-02T18:38:35Z)
• RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
  学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。 この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
  論文  参考訳（メタデータ） (2022-06-29T09:44:33Z)
• Deep interpretable ensembles [0.0]
  ディープアンサンブルでは、個々のモデルは通常ブラックボックスニューラルネットワーク、または最近では部分的に解釈可能な半構造化されたディープトランスフォーメーションモデルである。 本稿では,確率論的予測を集約し,解釈可能性を維持し,平均的なアンサンブルメンバーよりも均一に優れた予測を得られる新しい変換アンサンブルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T12:39:39Z)
• Diversity Matters When Learning From Ensembles [20.05842308307947]
  深層アンサンブルは、予測精度とキャリブレーションの両方において、大規模な画像分類タスクにおいて優れている。 訓練が簡単であるにもかかわらず、ディープアンサンブルの計算とメモリコストは、その実行可能性を制限する。 本稿では,このギャップを減らすための簡単な手法,すなわち蒸留した性能を全アンサンブルに近づける手法を提案する。
  論文  参考訳（メタデータ） (2021-10-27T03:44:34Z)
• Partial Order in Chaos: Consensus on Feature Attributions in the Rashomon Set [50.67431815647126]
  ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。 この手法により局所的・言語的特徴の半順序が生じることを示す。 これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
  論文  参考訳（メタデータ） (2021-10-26T02:53:14Z)
• Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three [7.169968368139168]
  本研究では, よく校正された構造予測モデルを作成するための枠組みとして, アンサンブル蒸留について検討する。 我々はこのフレームワークを2つのタスク – 名前付き認識と機械翻訳 – で検証する。 いずれのタスクにおいても、アンサンブル蒸留は、アンサンブルの性能とキャリブレーションの利点の多くを保持し、時には改善するモデルを生成する。
  論文  参考訳（メタデータ） (2020-10-13T22:30:06Z)
• Consistent Estimation of Identifiable Nonparametric Mixture Models from Grouped Observations [84.81435917024983]
  この研究は、グループ化された観測から任意の同定可能な混合モデルを一貫して推定するアルゴリズムを提案する。 ペア化された観測のために実践的な実装が提供され、アプローチは既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-12T20:44:22Z)
• Hydra: Preserving Ensemble Diversity for Model Distillation [46.677567663908185]
  モデルのアンサンブルは、予測性能を改善し、不確実性の堅牢な測定値を得るために経験的に示されている。 最近の研究は、アンサンブルを単一コンパクトモデルに蒸留することに集中しており、アンサンブルの計算と記憶の負担を軽減している。 本稿では,Hydraと呼ぶ単一マルチヘッドニューラルネットワークに基づく蒸留手法を提案する。
  論文  参考訳（メタデータ） (2020-01-14T10:13:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。