論文の概要: Efficient Diversity-Driven Ensemble for Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2112.13316v1
- Date: Sun, 26 Dec 2021 04:28:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 16:26:30.411379
- Title: Efficient Diversity-Driven Ensemble for Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークのための効率的な多様性駆動型アンサンブル
- Authors: Wentao Zhang, Jiawei Jiang, Yingxia Shao, Bin Cui
- Abstract要約: アンサンブルの多様性と効率の両方に対処するために,効率的なダイバーシティ駆動型アンサンブル(EDDE)を提案する。
他のよく知られたアンサンブル法と比較して、EDDEは訓練コストの低い最も高いアンサンブル精度を得ることができる。
EDDE on Computer Vision (CV) and Natural Language Processing (NLP) task。
- 参考スコア（独自算出の注目度）: 28.070540722925152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ensemble of deep neural networks has been shown, both theoretically and
empirically, to improve generalization accuracy on the unseen test set.
However, the high training cost hinders its efficiency since we need a
sufficient number of base models and each one in the ensemble has to be
separately trained. Lots of methods are proposed to tackle this problem, and
most of them are based on the feature that a pre-trained network can transfer
its knowledge to the next base model and then accelerate the training process.
However, these methods suffer a severe problem that all of them transfer
knowledge without selection and thus lead to low diversity. As the effect of
ensemble learning is more pronounced if ensemble members are accurate and
diverse, we propose a method named Efficient Diversity-Driven Ensemble (EDDE)
to address both the diversity and the efficiency of an ensemble. To accelerate
the training process, we propose a novel knowledge transfer method which can
selectively transfer the previous generic knowledge. To enhance diversity, we
first propose a new diversity measure, then use it to define a diversity-driven
loss function for optimization. At last, we adopt a Boosting-based framework to
combine the above operations, such a method can also further improve diversity.
We evaluate EDDE on Computer Vision (CV) and Natural Language Processing (NLP)
tasks. Compared with other well-known ensemble methods, EDDE can get highest
ensemble accuracy with the lowest training cost, which means it is efficient in
the ensemble of neural networks.
- Abstract（参考訳）: 深層ニューラルネットワークのアンサンブルは、理論的にも経験的にも、目に見えないテストセットの一般化精度を向上させるために示されている。
しかし、十分な数のベースモデルが必要であり、アンサンブル内の各モデルを個別に訓練する必要があるため、高いトレーニングコストは効率を損なう。
この問題に対処するための多くの手法が提案されており、そのほとんどは、事前訓練されたネットワークがその知識を次のベースモデルに転送し、トレーニングプロセスを加速できる機能に基づいている。
しかし、これらの手法は選択せずに知識を伝達する深刻な問題に悩まされ、したがって多様性は低い。
アンサンブルメンバーが正確かつ多様であれば,アンサンブル学習の効果がより顕著になるので,アンサンブルの多様性と効率性の両方に対処するEDDE(Efficient Diversity-Driven Ensemble)という手法を提案する。
学習過程を高速化するために,従来の知識を選択的に伝達できる新しい知識伝達法を提案する。
多様性を高めるために,まず新しい多様性尺度を提案し,それを用いて最適化のための多様性駆動損失関数を定義する。
最終的に、上記の操作を組み合わせるためにBoostingベースのフレームワークを採用しました。
eddeをコンピュータビジョン(cv)と自然言語処理(nlp)タスクで評価する。
他のよく知られたアンサンブル法と比較して、EDDEはトレーニングコストの低い最も高いアンサンブル精度を得ることができるため、ニューラルネットワークのアンサンブルでは効率がよい。
関連論文リスト
- Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。
アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。
ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文 参考訳（メタデータ） (2024-04-28T08:44:28Z) - Scalarization for Multi-Task and Multi-Domain Learning at Scale [15.545810422759295]
複数の入力ドメインと/または出力タスクで単一のモデルをトレーニングすることで、複数のソースからの情報を統一されたバックボーンに圧縮することができる。
しかし、これらのネットワークの最適化は、異なるタスクやドメイン間の相違による課題である。
論文 参考訳（メタデータ） (2023-10-13T07:31:04Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Multi-Task Model Personalization for Federated Supervised SVM in
Heterogeneous Networks [10.169907307499916]
フェデレーションシステムは、モデルパーソナライゼーションを通じて、高度に異質なデータの協調トレーニングを可能にする。
マルチタスク・フェデレーション・セッティングにおける多様な参加者の学習手順を高速化するためには、より効率的で堅牢な手法を開発する必要がある。
本稿では,支援ベクトルマシン(SVM)のための乗算器の交互方向法(ADMM)に基づく効率的な反復分散手法を設計する。
提案手法は、異種ノードのネットワークにおける効率的な計算とモデル交換を利用し、非i.d.データの存在下で学習モデルのパーソナライズを可能にする。
論文 参考訳（メタデータ） (2023-03-17T21:36:01Z) - HCE: Improving Performance and Efficiency with Heterogeneously
Compressed Neural Network Ensemble [22.065904428696353]
最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。
我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
論文 参考訳（メタデータ） (2023-01-18T21:47:05Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Neuroevolution is a Competitive Alternative to Reinforcement Learning
for Skill Discovery [12.586875201983778]
深層強化学習(Deep Reinforcement Learning, RL)は、複雑な制御タスクを解決するために神経ポリシーをトレーニングするための強力なパラダイムとして登場した。
品質多様性(QD)手法は,スキル発見のための情報理論強化RLの代替手段であることを示す。
論文 参考訳（メタデータ） (2022-10-06T11:06:39Z) - Neural Network Ensembles: Theory, Training, and the Importance of
Explicit Diversity [6.495473856599276]
アンサンブルラーニング(英: Ensemble Learning)とは、複数の基本学習者が戦略的に生成され、1つの複合学習者に結合されるプロセスである。
学習者の精度とアンサンブルの多様性の適切なバランスは、ベンチマークや実世界のデータセット上での機械学習タスクのパフォーマンスを向上させることができる。
最近の理論的および実践的な研究は、アンサンブルの精度と多様性の間の微妙なトレードオフを実証している。
論文 参考訳（メタデータ） (2021-09-29T00:43:57Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳（メタデータ） (2020-08-24T13:23:02Z) - Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。
我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文 参考訳（メタデータ） (2020-06-30T04:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。