論文の概要: Functional Ensemble Distillation

• arxiv url: http://arxiv.org/abs/2206.02183v1
• Date: Sun, 5 Jun 2022 14:07:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:09:08.865843
• Title: Functional Ensemble Distillation
• Title（参考訳）: 機能性アンサンブル蒸留
• Authors: Coby Penso, Idan Achituve, Ethan Fetaya
• Abstract要約: 本研究では,効率的なモデルを用いて,アンサンブルの予測を最もよく蒸留する方法を検討する。 混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。
• 参考スコア（独自算出の注目度）: 18.34081591772928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian models have many desirable properties, most notable is their ability to generalize from limited data and to properly estimate the uncertainty in their predictions. However, these benefits come at a steep computational cost as Bayesian inference, in most cases, is computationally intractable. One popular approach to alleviate this problem is using a Monte-Carlo estimation with an ensemble of models sampled from the posterior. However, this approach still comes at a significant computational cost, as one needs to store and run multiple models at test time. In this work, we investigate how to best distill an ensemble's predictions using an efficient model. First, we argue that current approaches that simply return distribution over predictions cannot compute important properties, such as the covariance between predictions, which can be valuable for further processing. Second, in many limited data settings, all ensemble members achieve nearly zero training loss, namely, they produce near-identical predictions on the training set which results in sub-optimal distilled models. To address both problems, we propose a novel and general distillation approach, named Functional Ensemble Distillation (FED), and we investigate how to best distill an ensemble in this setting. We find that learning the distilled model via a simple augmentation scheme in the form of mixup augmentation significantly boosts the performance. We evaluated our method on several tasks and showed that it achieves superior results in both accuracy and uncertainty estimation compared to current approaches.
• Abstract（参考訳）: ベイズモデルには多くの望ましい性質があるが、最も注目すべきは限られたデータから一般化し、予測の不確実性を適切に推定する能力である。 しかし、ベイズ推論は計算が難解な場合が多いため、これらの利点は計算コストが急上昇する。 この問題を緩和する1つの一般的なアプローチは、後部からサンプリングされたモデルのアンサンブルを用いたモンテカルロ推定である。 しかし、このアプローチはテスト時に複数のモデルを保存および実行する必要があるため、依然としてかなりの計算コストがかかる。 本研究では,効率的なモデルを用いてアンサンブルの予測を最適に蒸留する方法を検討する。 まず、予測よりも単純に分布を返却する現在のアプローチは、予測間の共分散のような重要な特性を計算できないため、さらなる処理に有用であると主張する。 第二に、多くの限られたデータ設定において、すべてのアンサンブルメンバーはトレーニング損失をほぼゼロにし、すなわち、最適化された蒸留モデルを生成するトレーニングセット上でほぼ同一の予測を生成する。 両問題に対処するため,我々はFED(Functional Ensemble Distillation)という,新規かつ汎用的な蒸留手法を提案し,この環境でのアンサンブルの蒸留方法について検討する。 混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。 提案手法をいくつかのタスクで評価し, 精度および不確実性評価において, 現在の手法と比較して優れた結果が得られることを示した。

関連論文リスト

• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [49.992908221544624]
  時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。 従来の深層学習法は時系列計算に有効であることが示されている。 本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• From Prediction to Action: Critical Role of Performance Estimation for Machine-Learning-Driven Materials Discovery [2.3243389656894595]
  我々は,事前計算したデータ収集から得られる適切な性能推定手法が欠如していることが,データ駆動材料発見の改善の根本的課題であると主張している。 本研究では,「予測された改善」獲得関数を用いてガウス過程の予測を成功させる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T05:29:43Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Better Batch for Deep Probabilistic Time Series Forecasting [15.31488551912888]
  本稿では,確率的予測精度を高めるために,誤り自己相関を取り入れた新しいトレーニング手法を提案する。 本手法は,モデルトレーニングのためのD$連続時系列セグメントのコレクションとしてミニバッチを構築する。 各ミニバッチ上で時間変化の共分散行列を明示的に学習し、隣接する時間ステップ間の誤差相関を符号化する。
  論文  参考訳（メタデータ） (2023-05-26T15:36:59Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Diversity Matters When Learning From Ensembles [20.05842308307947]
  深層アンサンブルは、予測精度とキャリブレーションの両方において、大規模な画像分類タスクにおいて優れている。 訓練が簡単であるにもかかわらず、ディープアンサンブルの計算とメモリコストは、その実行可能性を制限する。 本稿では,このギャップを減らすための簡単な手法,すなわち蒸留した性能を全アンサンブルに近づける手法を提案する。
  論文  参考訳（メタデータ） (2021-10-27T03:44:34Z)
• Residual Overfit Method of Exploration [78.07532520582313]
  提案手法は,2点推定値の調整と1点オーバーフィットに基づく近似探索手法を提案する。 このアプローチは、調整されたモデルと比較して、オーバーフィットモデルが最も過度な適合を示すアクションへの探索を促進する。 ROMEを3つのデータセット上の確立されたコンテキスト的帯域幅法と比較し、最も優れたパフォーマンスの1つとみなす。
  論文  参考訳（メタデータ） (2021-10-06T17:05:33Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Gaussian Process Boosting [6.85316573653194]
  ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。 シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
  論文  参考訳（メタデータ） (2020-04-06T13:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。