論文の概要: HCE: Improving Performance and Efficiency with Heterogeneously
Compressed Neural Network Ensemble
- arxiv url: http://arxiv.org/abs/2301.07794v1
- Date: Wed, 18 Jan 2023 21:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-20 16:01:01.053435
- Title: HCE: Improving Performance and Efficiency with Heterogeneously
Compressed Neural Network Ensemble
- Title(参考訳): HCE:不均一圧縮ニューラルネットワークアンサンブルによる性能と効率の向上
- Authors: Jingchi Zhang, Huanrui Yang and Hai Li
- Abstract要約: 最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。
我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
- 参考スコア(独自算出の注目度): 22.065904428696353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ensemble learning has gain attention in resent deep learning research as a
way to further boost the accuracy and generalizability of deep neural network
(DNN) models. Recent ensemble training method explores different training
algorithms or settings on multiple sub-models with the same model architecture,
which lead to significant burden on memory and computation cost of the ensemble
model. Meanwhile, the heurtsically induced diversity may not lead to
significant performance gain. We propose a new prespective on exploring the
intrinsic diversity within a model architecture to build efficient DNN
ensemble. We make an intriguing observation that pruning and quantization,
while both leading to efficient model architecture at the cost of small
accuracy drop, leads to distinct behavior in the decision boundary. To this
end, we propose Heterogeneously Compressed Ensemble (HCE), where we build an
efficient ensemble with the pruned and quantized variants from a pretrained DNN
model. An diversity-aware training objective is proposed to further boost the
performance of the HCE ensemble. Experiemnt result shows that HCE achieves
significant improvement in the efficiency-accuracy tradeoff comparing to both
traditional DNN ensemble training methods and previous model compression
methods.
- Abstract(参考訳): 深層ニューラルネットワーク(DNN)モデルの精度と一般化性をさらに向上させる手段として、アンサンブル学習は、深層学習研究において注目を集めている。
近年のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索し,アンサンブルモデルのメモリと計算コストに大きな負担を与える。
一方、ヒューリスティックに誘導された多様性は、大幅なパフォーマンス向上にはつながりません。
モデルアーキテクチャにおける本質的な多様性を探索し,効率的なDNNアンサンブルを構築する手法を提案する。
我々は,pruning と quantization の両者が,小さな精度低下を犠牲にして効率的なモデルアーキテクチャへと導く一方で,決定境界における異なる行動をもたらす,興味深い観察を行う。
そこで本研究では,事前学習したdnnモデルを用いて,pruned および quantized 変種を用いた効率的なアンサンブルを構築するための不均質圧縮アンサンブル (hce) を提案する。
HCEアンサンブルの性能をさらに向上させるために,多様性を考慮した学習目標を提案する。
実験結果から,HCEは従来のDNNアンサンブル訓練法と従来のモデル圧縮法と比較して,効率・精度トレードオフの大幅な改善を実現していることがわかった。
関連論文リスト
- Co-training and Co-distillation for Quality Improvement and Compression
of Language Models [88.94539115180919]
知識蒸留(KD)は、知識をより小さなモデルに伝達することで、高価な事前訓練言語モデル(PLM)を圧縮する。
ほとんどの小型モデルはオリジナルの大型モデルの性能を上回ることができず、推論速度を改善するために性能を犠牲にする結果となった。
本稿では,2つのモデルを協調学習することで,性能と推論速度を共に向上する新しいフレームワークであるCTCDを提案する。
論文 参考訳(メタデータ) (2023-11-06T03:29:00Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳(メタデータ) (2023-10-30T11:13:02Z) - Diversified Ensemble of Independent Sub-Networks for Robust
Self-Supervised Representation Learning [10.784911682565879]
ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。
独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。
提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
論文 参考訳(メタデータ) (2023-08-28T16:58:44Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳(メタデータ) (2023-01-26T18:58:07Z) - Annealing Double-Head: An Architecture for Online Calibration of Deep
Neural Networks [1.1602089225841632]
現代のディープニューラルネットワークは、予測信頼度が過大評価されているため、概してキャリブレーションが不十分である。
本稿では,DNN を訓練中に校正するための簡易かつ高効率なアーキテクチャである Annealing Double-Head を提案する。
提案手法は, 後処理を伴わずに, 最先端モデル校正性能を達成できることを実証する。
論文 参考訳(メタデータ) (2022-12-27T21:21:58Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - Rethinking Pareto Frontier for Performance Evaluation of Deep Neural
Networks [2.167843405313757]
多目的最適化を用いて効率測定を再定義する。
競合変数と自然を同時に1つの相対効率尺度で組み合わせる。
これにより、異なるコンピューティングハードウェア上で効率的に動作するディープモデルをランク付けし、推論効率とトレーニング効率を客観的に組み合わせることができる。
論文 参考訳(メタデータ) (2022-02-18T15:58:17Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-07-27T12:38:37Z) - Collegial Ensembles [11.64359837358763]
我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。
また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
論文 参考訳(メタデータ) (2020-06-13T16:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。