論文の概要: Transfer learning for ensembles: reducing computation time and keeping the diversity

• arxiv url: http://arxiv.org/abs/2206.13116v1
• Date: Mon, 27 Jun 2022 08:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-29 00:21:05.204759
• Title: Transfer learning for ensembles: reducing computation time and keeping the diversity
• Title（参考訳）: アンサンブルのための伝達学習:計算時間削減と多様性維持
• Authors: Ilya Shashkov and Nikita Balabin and Evgeny Burnaev and Alexey Zaytsev
• Abstract要約: ある問題でトレーニングされたディープニューラルネットワークを別の問題に転送するには、少量のデータと追加の計算時間しか必要としない。 ディープニューラルネットワークのアンサンブルの転送は、比較的高い計算コストを必要とする。 アンサンブルの伝達学習におけるアプローチは, (a) アンサンブル内の全てのモデルのエンコーダの重みを1つのシフトベクトルでシフトさせることと, (b) 個々のモデルに対して小さな微調整を行うことの2つのステップからなる。
• 参考スコア（独自算出の注目度）: 12.220069569688714
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Transferring a deep neural network trained on one problem to another requires only a small amount of data and little additional computation time. The same behaviour holds for ensembles of deep learning models typically superior to a single model. However, a transfer of deep neural networks ensemble demands relatively high computational expenses. The probability of overfitting also increases. Our approach for the transfer learning of ensembles consists of two steps: (a) shifting weights of encoders of all models in the ensemble by a single shift vector and (b) doing a tiny fine-tuning for each individual model afterwards. This strategy leads to a speed-up of the training process and gives an opportunity to add models to an ensemble with significantly reduced training time using the shift vector. We compare different strategies by computation time, the accuracy of an ensemble, uncertainty estimation and disagreement and conclude that our approach gives competitive results using the same computation complexity in comparison with the traditional approach. Also, our method keeps the ensemble's models' diversity higher.
• Abstract（参考訳）: ある問題でトレーニングされたディープニューラルネットワークを別の問題に転送するには、少量のデータと追加の計算時間が必要だ。 同じ振る舞いは、一般的に1つのモデルよりも優れたディープラーニングモデルのアンサンブルに当てはまる。 しかし、ディープニューラルネットワークのアンサンブルの転送は比較的高い計算コストを必要とする。 オーバーフィッティングの確率も増加する。 アンサンブルの伝達学習への我々のアプローチは2つのステップから構成される。 (a)アンサンブル内の全てのモデルのエンコーダの重みを1つのシフトベクトルでシフトし、 (b)その後、各モデルごとに微調整を行う。 この戦略はトレーニングプロセスのスピードアップにつながり、シフトベクトルを使用してトレーニング時間を大幅に短縮したアンサンブルにモデルを追加する機会を与える。 提案手法は,計算時間,アンサンブルの精度,不確実性推定,不一致による異なる戦略を比較し,従来の手法と同等の計算複雑性を用いた競合結果を与えると結論づける。 また,本手法では,アンサンブルモデルの多様性を向上する。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Transfer Learning with Reconstruction Loss [12.906500431427716]
  本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。 提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。 数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
  論文  参考訳（メタデータ） (2024-03-31T00:22:36Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Autoselection of the Ensemble of Convolutional Neural Networks with Second-Order Cone Programming [0.8029049649310213]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを推定する数学的モデルを提案する。 提案手法は, CIFAR-10, CIFAR-100 および MNIST データセットで検証される。
  論文  参考訳（メタデータ） (2023-02-12T16:18:06Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
  ディープニューラルネットワークが従来の機械学習より優れていることが示されている。 ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
  論文  参考訳（メタデータ） (2022-06-27T15:46:05Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。