論文の概要: HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble

• arxiv url: http://arxiv.org/abs/2301.07794v1
• Date: Wed, 18 Jan 2023 21:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-20 16:01:01.053435
• Title: HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble
• Title（参考訳）: HCE:不均一圧縮ニューラルネットワークアンサンブルによる性能と効率の向上
• Authors: Jingchi Zhang, Huanrui Yang and Hai Li
• Abstract要約: 最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。 我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
• 参考スコア（独自算出の注目度）: 22.065904428696353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning has gain attention in resent deep learning research as a way to further boost the accuracy and generalizability of deep neural network (DNN) models. Recent ensemble training method explores different training algorithms or settings on multiple sub-models with the same model architecture, which lead to significant burden on memory and computation cost of the ensemble model. Meanwhile, the heurtsically induced diversity may not lead to significant performance gain. We propose a new prespective on exploring the intrinsic diversity within a model architecture to build efficient DNN ensemble. We make an intriguing observation that pruning and quantization, while both leading to efficient model architecture at the cost of small accuracy drop, leads to distinct behavior in the decision boundary. To this end, we propose Heterogeneously Compressed Ensemble (HCE), where we build an efficient ensemble with the pruned and quantized variants from a pretrained DNN model. An diversity-aware training objective is proposed to further boost the performance of the HCE ensemble. Experiemnt result shows that HCE achieves significant improvement in the efficiency-accuracy tradeoff comparing to both traditional DNN ensemble training methods and previous model compression methods.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)モデルの精度と一般化性をさらに向上させる手段として、アンサンブル学習は、深層学習研究において注目を集めている。 近年のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索し,アンサンブルモデルのメモリと計算コストに大きな負担を与える。 一方、ヒューリスティックに誘導された多様性は、大幅なパフォーマンス向上にはつながりません。 モデルアーキテクチャにおける本質的な多様性を探索し,効率的なDNNアンサンブルを構築する手法を提案する。 我々は,pruning と quantization の両者が,小さな精度低下を犠牲にして効率的なモデルアーキテクチャへと導く一方で,決定境界における異なる行動をもたらす,興味深い観察を行う。 そこで本研究では,事前学習したdnnモデルを用いて,pruned および quantized 変種を用いた効率的なアンサンブルを構築するための不均質圧縮アンサンブル (hce) を提案する。 HCEアンサンブルの性能をさらに向上させるために,多様性を考慮した学習目標を提案する。 実験結果から,HCEは従来のDNNアンサンブル訓練法と従来のモデル圧縮法と比較して,効率・精度トレードオフの大幅な改善を実現していることがわかった。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Deep Companion Learning: Enhancing Generalization Through Historical Consistency [35.5237083057451]
  本稿では,不整合モデル予測をペナライズすることによって一般化を促進するディープニューラルネットワーク(DNN)の新たなトレーニング手法を提案する。 我々は、新しい入力の予測を提供するために、以前のバージョンのモデルを用いて、ディープコンパニオンモデル(DCM)を訓練する。 このコンパニオンモデルは、データ内の有意義な潜在意味構造を解読し、ターゲットの監視を提供する。
  論文  参考訳（メタデータ） (2024-07-26T15:31:13Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Rethinking Pareto Frontier for Performance Evaluation of Deep Neural Networks [2.167843405313757]
  多目的最適化を用いて効率測定を再定義する。 競合変数と自然を同時に1つの相対効率尺度で組み合わせる。 これにより、異なるコンピューティングハードウェア上で効率的に動作するディープモデルをランク付けし、推論効率とトレーニング効率を客観的に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-02-18T15:58:17Z)
• Collegial Ensembles [11.64359837358763]
  我々は,群畳み込みと対角線ブロックを用いた実用的アーキテクチャにおいて,コレギアルアンサンブルを効率的に実装可能であることを示す。 また、一つのモデルをトレーニングすることなく、最適なグループ畳み込みモジュールを解析的に導き出すために、我々のフレームワークをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。