論文の概要: Hierarchical Pruning of Deep Ensembles with Focal Diversity

• arxiv url: http://arxiv.org/abs/2311.10293v1
• Date: Fri, 17 Nov 2023 02:48:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 15:00:48.284076
• Title: Hierarchical Pruning of Deep Ensembles with Focal Diversity
• Title（参考訳）: 焦点多様性を有する深層アンサンブルの階層的プルーニング
• Authors: Yanzhao Wu, Ka-Ho Chow, Wenqi Wei, Ling Liu
• Abstract要約: ディープニューラルネットワークのアンサンブルは、複数のディープニューラルネットワークの知恵を組み合わせて、個々のネットワークに対する一般化性と堅牢性を改善する。 ミッションクリティカルないくつかのアプリケーションは、多数のディープニューラルネットワークを使用して、望ましい精度とレジリエンスを達成するためにディープアンサンブルを形成する。 本稿では,より小さなディープアンサンブルを効率的に識別できる新しいディープアンサンブル・プルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 17.127312781074245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network ensembles combine the wisdom of multiple deep neural networks to improve the generalizability and robustness over individual networks. It has gained increasing popularity to study deep ensemble techniques in the deep learning community. Some mission-critical applications utilize a large number of deep neural networks to form deep ensembles to achieve desired accuracy and resilience, which introduces high time and space costs for ensemble execution. However, it still remains a critical challenge whether a small subset of the entire deep ensemble can achieve the same or better generalizability and how to effectively identify these small deep ensembles for improving the space and time efficiency of ensemble execution. This paper presents a novel deep ensemble pruning approach, which can efficiently identify smaller deep ensembles and provide higher ensemble accuracy than the entire deep ensemble of a large number of member networks. Our hierarchical ensemble pruning approach (HQ) leverages three novel ensemble pruning techniques. First, we show that the focal diversity metrics can accurately capture the complementary capacity of the member networks of an ensemble, which can guide ensemble pruning. Second, we design a focal diversity based hierarchical pruning approach, which will iteratively find high quality deep ensembles with low cost and high accuracy. Third, we develop a focal diversity consensus method to integrate multiple focal diversity metrics to refine ensemble pruning results, where smaller deep ensembles can be effectively identified to offer high accuracy, high robustness and high efficiency. Evaluated using popular benchmark datasets, we demonstrate that the proposed hierarchical ensemble pruning approach can effectively identify high quality deep ensembles with better generalizability while being more time and space efficient in ensemble decision making.
• Abstract（参考訳）: ディープニューラルネットワークのアンサンブルは、複数のディープニューラルネットワークの知恵を組み合わせて、個々のネットワークに対する一般化性と堅牢性を改善する。 ディープラーニングコミュニティで深層アンサンブル技術を学ぶための人気が高まっている。 いくつかのミッションクリティカルな応用は、多くのディープニューラルネットワークを使用して、所望の精度とレジリエンスを達成するためにディープアンサンブルを形成し、アンサンブルの実行に高い時間と空間コストをもたらす。 しかし、ディープアンサンブル全体の小さなサブセットが同じかより良い一般化可能性を達成できるか、そしてアンサンブルの実行の空間と時間効率を改善するためにこれらの小さなディープアンサンブルを効果的に識別するかは依然として重要な課題である。 本稿では,より小さな深層アンサンブルを効率よく同定し,多数のネットワークの深部アンサンブル全体よりも高いアンサンブル精度を実現する,新しいディープアンサンブル・プルーニング手法を提案する。 当社の階層型アンサンブル刈り込み手法(hq)は,3つの新しいアンサンブル刈り込み手法を活用する。 まず,アンサンブル・プルーニングを導出するアンサンブルのメンバーネットワークの補完的容量を,焦点多様性の指標によって正確に把握できることを示す。 第2に,局所的多様性に基づく階層的刈り込み手法を考案し,低コストかつ高精度な高品質な深層アンサンブルを反復的に発見する。 第3に,複数の局所的多様性指標を統合し,より小さな深層アンサンブルを効果的に同定し,高精度,高ロバスト性,高効率を実現する焦点多様性コンセンサス手法を開発した。 一般的なベンチマークデータセットを用いて評価し,提案手法により,より時間と空間効率が向上しつつ,より高品質な深層アンサンブルを効果的に識別できることを実証した。

関連論文リスト

• Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning [10.784911682565879]
  ニューラルネットワークの組み立ては、モデルの性能を高め、不確実性を推定し、深い教師付き学習における堅牢性を改善するために広く認識されているアプローチである。 独立サブネットワークのアンサンブルを活用した,新たな自己指導型トレーニングシステムを提案する。 提案手法は,高多様性のサブモデルアンサンブルを効率的に構築し,モデル不確実性の評価を行う。
  論文  参考訳（メタデータ） (2023-08-28T16:58:44Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Multi-scale Matching Networks for Semantic Correspondence [38.904735120815346]
  提案手法は,高い計算効率を有する3つの一般的なベンチマークに対して,最先端の性能を実現する。 我々のマルチスケールマッチングネットワークは、学習可能なパラメータをほとんど必要とせずに、エンドツーエンドで簡単に訓練できる。
  論文  参考訳（メタデータ） (2021-07-31T10:57:24Z)
• Multi-headed Neural Ensemble Search [68.10888689513583]
  異なる種(ディープ・アンサンブルとしても知られる)で訓練されたCNNモデルのアンサンブルは、CNNの単一コピーよりも優れたパフォーマンスを達成することが知られている。 我々はNESをマルチヘッドアンサンブルに拡張し、複数の予測ヘッドにアタッチされた共有バックボーンで構成される。
  論文  参考訳（メタデータ） (2021-07-09T11:20:48Z)
• Multi-Level Attentive Convoluntional Neural Network for Crowd Counting [12.61997540961144]
  クラウドカウントのためのマルチレベル注意型畳み込みニューラルネットワーク(MLAttnCNN)を提案する。 我々は、複数の異なるスケールをプールに適用した高レベルの文脈情報を抽出する。 マルチレベルアテンションモジュールを用いて、異なる層の特徴を豊かにし、より効率的なマルチスケール機能融合を実現する。
  論文  参考訳（メタデータ） (2021-05-24T17:29:00Z)
• Deep Convolutional Neural Network Ensembles using ECOC [23.29970325359036]
  我々は、深層ネットワークのアンサンブル手法として使用されるECOC(エラー訂正出力符号化)フレームワークを解析する。 本稿では,精度・複雑さのトレードオフに対処するための設計手法を提案する。
  論文  参考訳（メタデータ） (2020-09-07T09:20:24Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。