論文の概要: Simple Regularisation for Uncertainty-Aware Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2205.09526v1
• Date: Thu, 19 May 2022 12:49:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 12:39:35.687132
• Title: Simple Regularisation for Uncertainty-Aware Knowledge Distillation
• Title（参考訳）: 不確かさを意識した知識蒸留のための簡易正則化
• Authors: Martin Ferianc and Miguel Rodrigues
• Abstract要約: 本研究では,機械学習モデルのアンサンブルを単一NNに分割した分布自由知識蒸留のための簡単な正規化手法について検討する。 正規化の目的は、微調整のような難易度のないオリジナルのアンサンブルの多様性、正確性、不確実性の推定特性を維持することである。
• 参考スコア（独自算出の注目度）: 2.792030485253753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering uncertainty estimation of modern neural networks (NNs) is one of the most important steps towards deploying machine learning systems to meaningful real-world applications such as in medicine, finance or autonomous systems. At the moment, ensembles of different NNs constitute the state-of-the-art in both accuracy and uncertainty estimation in different tasks. However, ensembles of NNs are unpractical under real-world constraints, since their computation and memory consumption scale linearly with the size of the ensemble, which increase their latency and deployment cost. In this work, we examine a simple regularisation approach for distribution-free knowledge distillation of ensemble of machine learning models into a single NN. The aim of the regularisation is to preserve the diversity, accuracy and uncertainty estimation characteristics of the original ensemble without any intricacies, such as fine-tuning. We demonstrate the generality of the approach on combinations of toy data, SVHN/CIFAR-10, simple to complex NN architectures and different tasks.
• Abstract（参考訳）: 現代のニューラルネットワーク(NN)の不確実性を考慮すれば、医療や金融、自律システムといった現実的なアプリケーションに機械学習システムをデプロイする上で、最も重要なステップの1つである。 現在、異なるNNのアンサンブルは、異なるタスクにおける正確さと不確実性の両方において最先端の要素となっている。 しかし、NNのアンサンブルは、その計算とメモリ消費がアンサンブルのサイズと線形にスケールするため、実際の制約下では実践的ではない。 本研究では,機械学習モデルのアンサンブルを単一NNに分割した分布自由知識蒸留のための簡単な正規化手法について検討する。 正規化の目的は、微調整などの複雑さなしに元のアンサンブルの多様性、正確さ、不確かさを推定する特性を維持することである。 本稿では,toy data,svhn/cifar-10,simple to complex nn architectures and different tasksの組み合わせによるアプローチの汎用性を示す。

関連論文リスト

• Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
  本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。 アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。 また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
  論文  参考訳（メタデータ） (2024-09-08T22:27:50Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Reliable uncertainty with cheaper neural network ensembles: a case study in industrial parts classification [1.104960878651584]
  オペレーションリサーチ(OR)では、予測モデルはしばしばアウト・オブ・ディストリビューション(OOD)のシナリオに遭遇する。 複数の独立したNNで構成されるディープアンサンブルは、有望なアプローチとして現れている。 本研究は,1つのNNと1つのディープアンサンブル,および3つの効率的なNNアンサンブルを総合的に比較した最初のものである。
  論文  参考訳（メタデータ） (2024-03-15T10:38:48Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Capsa: A Unified Framework for Quantifying Risk in Deep Neural Networks [142.67349734180445]
  ディープニューラルネットワークにリスク認識を提供する既存のアルゴリズムは複雑でアドホックである。 ここでは、リスク認識でモデルを拡張するためのフレームワークであるcapsaを紹介します。
  論文  参考訳（メタデータ） (2023-08-01T02:07:47Z)
• Single-model uncertainty quantification in neural network potentials does not consistently outperform model ensembles [0.7499722271664145]
  ニューラルネットワーク(NN)は、遠く離れた地点であっても、予測に高い信頼性を割り当てることが多い。 不確かさ定量化(英: Uncertainty Quantification、UQ)は、物質系における原子間ポテンシャルのモデル化に使用されるときの課題である。 異なるUQ技術は、新しい情報データを見つけ、堅牢なポテンシャルのためにアクティブな学習ループを駆動することができる。
  論文  参考訳（メタデータ） (2023-05-02T19:41:17Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。