論文の概要: Exploring Model Learning Heterogeneity for Boosting Ensemble Robustness
- arxiv url: http://arxiv.org/abs/2310.02237v1
- Date: Tue, 3 Oct 2023 17:47:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 13:10:38.181071
- Title: Exploring Model Learning Heterogeneity for Boosting Ensemble Robustness
- Title（参考訳）: アンサンブルロバスト性向上のためのモデル学習不均一性の探索
- Authors: Yanzhao Wu, Ka-Ho Chow, Wenqi Wei, Ling Liu
- Abstract要約: ディープニューラルネットワークアンサンブルは、複雑な学習タスクの一般化性能を改善する可能性を秘めている。
本稿では,高いアンサンブル多様性を有するヘテロジニアス深層アンサンブルの形式解析と経験的評価について述べる。
- 参考スコア（独自算出の注目度）: 17.127312781074245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network ensembles hold the potential of improving generalization
performance for complex learning tasks. This paper presents formal analysis and
empirical evaluation to show that heterogeneous deep ensembles with high
ensemble diversity can effectively leverage model learning heterogeneity to
boost ensemble robustness. We first show that heterogeneous DNN models trained
for solving the same learning problem, e.g., object detection, can
significantly strengthen the mean average precision (mAP) through our weighted
bounding box ensemble consensus method. Second, we further compose ensembles of
heterogeneous models for solving different learning problems, e.g., object
detection and semantic segmentation, by introducing the connected component
labeling (CCL) based alignment. We show that this two-tier heterogeneity driven
ensemble construction method can compose an ensemble team that promotes high
ensemble diversity and low negative correlation among member models of the
ensemble, strengthening ensemble robustness against both negative examples and
adversarial attacks. Third, we provide a formal analysis of the ensemble
robustness in terms of negative correlation. Extensive experiments validate the
enhanced robustness of heterogeneous ensembles in both benign and adversarial
settings. The source codes are available on GitHub at
https://github.com/git-disl/HeteRobust.
- Abstract（参考訳）: ディープニューラルネットワークアンサンブルは、複雑な学習タスクの一般化性能を改善する可能性を秘めている。
本報告では, アンサンブルの多様性が高いヘテロジニアス深層アンサンブルが, モデル学習のヘテロジニアリティを有効活用し, アンサンブルの堅牢性を高めることができることを示す。
まず,同じ学習問題を解決するために訓練された不均質なdnnモデル,例えばオブジェクト検出は,重み付きバウンディングボックスアンサンブルコンセンサス法による平均平均精度(map)を著しく向上させることができることを示した。
第2に、コネクテッドコンポーネントラベリング(CCL)に基づくアライメントを導入することにより、オブジェクト検出やセマンティックセグメンテーションといった異なる学習問題を解決するための異種モデルのアンサンブルをさらに構成する。
本手法は,アンサンブルモデル間の高いアンサンブル多様性と低負の相関性を促進するアンサンブルチームを構成することができ,負の例と敵の攻撃に対するアンサンブルロバスト性を高めることができることを示す。
第3に,アンサンブルのロバスト性について,負相関の観点から形式的解析を行う。
広汎な実験は、良性および対向性の両方において不均一なアンサンブルの強化された堅牢性を検証する。
ソースコードはgithubのhttps://github.com/git-disl/heterobustで入手できる。
関連論文リスト
- Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。
現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
論文 参考訳（メタデータ） (2024-05-26T13:11:55Z) - The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - Enhancing Representations through Heterogeneous Self-Supervised Learning [61.40674648939691]
本稿では,HSSL(Heterogeneous Self-Supervised Learning)を提案する。
HSSLは、構造的変化を伴わない表現学習方式で、ベースモデルに新しい特徴を付与する。
HSSLは、様々な自己教師型メソッドと互換性があり、様々な下流タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-10-08T10:44:05Z) - Improved Robustness Against Adaptive Attacks With Ensembles and
Error-Correcting Output Codes [0.0]
本研究では, 誤り訂正出力符号(ECOC)アンサンブルの堅牢性について, アーキテクチャ改善と多様性向上を通じて検討する。
本研究では,適応攻撃に対する包括的ロバストネス評価を行い,アンサンブルの多様性とロバストネスの関係について検討する。
論文 参考訳（メタデータ） (2023-03-04T05:05:17Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳（メタデータ） (2022-12-14T07:35:20Z) - Orthogonal Ensemble Networks for Biomedical Image Segmentation [10.011414604407681]
モデル多様性を明示する新しいフレームワークであるOrthogonal Ensemble Networks (OEN)を紹介する。
提案手法を2つの課題脳病変セグメンテーションタスクでベンチマークする。
実験結果から,本手法はより頑健でよく校正されたアンサンブルモデルを生成することが示された。
論文 参考訳（メタデータ） (2021-05-22T23:44:55Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳（メタデータ） (2020-07-30T05:48:48Z) - Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。
本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。
得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-15T17:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。