論文の概要: Transfer learning for ensembles: reducing computation time and keeping
the diversity
- arxiv url: http://arxiv.org/abs/2206.13116v1
- Date: Mon, 27 Jun 2022 08:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-29 00:21:05.204759
- Title: Transfer learning for ensembles: reducing computation time and keeping
the diversity
- Title(参考訳): アンサンブルのための伝達学習:計算時間削減と多様性維持
- Authors: Ilya Shashkov and Nikita Balabin and Evgeny Burnaev and Alexey Zaytsev
- Abstract要約: ある問題でトレーニングされたディープニューラルネットワークを別の問題に転送するには、少量のデータと追加の計算時間しか必要としない。
ディープニューラルネットワークのアンサンブルの転送は、比較的高い計算コストを必要とする。
アンサンブルの伝達学習におけるアプローチは, (a) アンサンブル内の全てのモデルのエンコーダの重みを1つのシフトベクトルでシフトさせることと, (b) 個々のモデルに対して小さな微調整を行うことの2つのステップからなる。
- 参考スコア(独自算出の注目度): 12.220069569688714
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Transferring a deep neural network trained on one problem to another requires
only a small amount of data and little additional computation time. The same
behaviour holds for ensembles of deep learning models typically superior to a
single model. However, a transfer of deep neural networks ensemble demands
relatively high computational expenses. The probability of overfitting also
increases.
Our approach for the transfer learning of ensembles consists of two steps:
(a) shifting weights of encoders of all models in the ensemble by a single
shift vector and (b) doing a tiny fine-tuning for each individual model
afterwards. This strategy leads to a speed-up of the training process and gives
an opportunity to add models to an ensemble with significantly reduced training
time using the shift vector.
We compare different strategies by computation time, the accuracy of an
ensemble, uncertainty estimation and disagreement and conclude that our
approach gives competitive results using the same computation complexity in
comparison with the traditional approach. Also, our method keeps the ensemble's
models' diversity higher.
- Abstract(参考訳): ある問題でトレーニングされたディープニューラルネットワークを別の問題に転送するには、少量のデータと追加の計算時間が必要だ。
同じ振る舞いは、一般的に1つのモデルよりも優れたディープラーニングモデルのアンサンブルに当てはまる。
しかし、ディープニューラルネットワークのアンサンブルの転送は比較的高い計算コストを必要とする。
オーバーフィッティングの確率も増加する。
アンサンブルの伝達学習への我々のアプローチは2つのステップから構成される。
(a)アンサンブル内の全てのモデルのエンコーダの重みを1つのシフトベクトルでシフトし、
(b)その後、各モデルごとに微調整を行う。
この戦略はトレーニングプロセスのスピードアップにつながり、シフトベクトルを使用してトレーニング時間を大幅に短縮したアンサンブルにモデルを追加する機会を与える。
提案手法は,計算時間,アンサンブルの精度,不確実性推定,不一致による異なる戦略を比較し,従来の手法と同等の計算複雑性を用いた競合結果を与えると結論づける。
また,本手法では,アンサンブルモデルの多様性を向上する。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation
for Time Series [49.992908221544624]
時系列データは、しばしば多くの欠落した値を示し、これは時系列計算タスクである。
従来の深層学習法は時系列計算に有効であることが示されている。
本研究では,不確実性のある高精度な計算を行う非生成時系列計算法を提案する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Autoselection of the Ensemble of Convolutional Neural Networks with
Second-Order Cone Programming [0.8029049649310213]
本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを推定する数学的モデルを提案する。
提案手法は, CIFAR-10, CIFAR-100 および MNIST データセットで検証される。
論文 参考訳(メタデータ) (2023-02-12T16:18:06Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Benchmarking Learning Efficiency in Deep Reservoir Computing [23.753943709362794]
我々は、機械学習モデルがトレーニングデータからいかに早く学習するかを測定するために、データ効率の指標とともに、ますます困難なタスクのベンチマークを導入する。
我々は、RNN、LSTM、Transformersなどの確立された逐次教師付きモデルの学習速度を、貯水池計算に基づく比較的知られていない代替モデルと比較する。
論文 参考訳(メタデータ) (2022-09-29T08:16:52Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳(メタデータ) (2022-06-27T15:46:05Z) - Characterizing and overcoming the greedy nature of learning in
multi-modal deep neural networks [62.48782506095565]
深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。
本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
論文 参考訳(メタデータ) (2022-02-10T20:11:21Z) - Merging Models with Fisher-Weighted Averaging [24.698591753644077]
我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。
提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。
マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
論文 参考訳(メタデータ) (2021-11-18T17:59:35Z) - Neural Complexity Measures [96.06344259626127]
本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。
我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
論文 参考訳(メタデータ) (2020-08-07T02:12:10Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳(メタデータ) (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。