論文の概要: Multi-headed Neural Ensemble Search

• arxiv url: http://arxiv.org/abs/2107.04369v1
• Date: Fri, 9 Jul 2021 11:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 13:56:29.834059
• Title: Multi-headed Neural Ensemble Search
• Title（参考訳）: 多頭部ニューラルアンサンブル探索
• Authors: Ashwin Raaghav Narayanan, Arber Zela, Tonmoy Saikia, Thomas Brox, Frank Hutter
• Abstract要約: 異なる種(ディープ・アンサンブルとしても知られる)で訓練されたCNNモデルのアンサンブルは、CNNの単一コピーよりも優れたパフォーマンスを達成することが知られている。 我々はNESをマルチヘッドアンサンブルに拡張し、複数の予測ヘッドにアタッチされた共有バックボーンで構成される。
• 参考スコア（独自算出の注目度）: 68.10888689513583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensembles of CNN models trained with different seeds (also known as Deep Ensembles) are known to achieve superior performance over a single copy of the CNN. Neural Ensemble Search (NES) can further boost performance by adding architectural diversity. However, the scope of NES remains prohibitive under limited computational resources. In this work, we extend NES to multi-headed ensembles, which consist of a shared backbone attached to multiple prediction heads. Unlike Deep Ensembles, these multi-headed ensembles can be trained end to end, which enables us to leverage one-shot NAS methods to optimize an ensemble objective. With extensive empirical evaluations, we demonstrate that multi-headed ensemble search finds robust ensembles 3 times faster, while having comparable performance to other ensemble search methods, in both predictive performance and uncertainty calibration.
• Abstract（参考訳）: 異なる種(ディープ・アンサンブルとしても知られる)で訓練されたCNNモデルのアンサンブルは、CNNの単一コピーよりも優れたパフォーマンスを達成することが知られている。 Neural Ensemble Search (NES)は、アーキテクチャの多様性を追加することでパフォーマンスをさらに向上させることができる。 しかし、nesの範囲は限られた計算資源で制限されている。 本研究では,マルチヘッドアンサンブルにnesを拡張し,複数の予測ヘッドに共有バックボーンを付加した。 Deep Ensemblesとは異なり、これらのマルチヘッドアンサンブルはエンドツーエンドで訓練できるため、ワンショットNASメソッドを利用してアンサンブルの目的を最適化することができる。 実験により,マルチヘッド型アンサンブル検索は,他のアンサンブル検索手法と比較して3倍高速に動作し,予測性能と不確かさの両面で高い性能を示した。

関連論文リスト

• Robust Few-Shot Ensemble Learning with Focal Diversity-Based Pruning [10.551984557040102]
  本稿では,焦点多様性に最適化された数発のアンサンブル学習手法であるFusionShotを提案する。 これにより、事前訓練された少数ショットモデルの堅牢性と一般化性能が向上する。 代表的な数ショットベンチマークの実験では、FusionShotが推奨するトップKアンサンブルが、代表的なSOTA数ショットモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T22:21:49Z)
• SAE: Single Architecture Ensemble Neural Networks [7.011763596804071]
  異なるニューラルネットワーク(NN)のアンサンブルは、タスク間の単一NNよりも精度と信頼性のキャリブレーションが優れている。 近年の手法では,早期出口の追加やマルチ入力マルチ出力手法によるアンサンブルを単一ネットワーク内で生成している。 我々の新しいSingle Architecture Ensembleフレームワークは、早期出口とマルチ入力マルチ出力構成による自動および共同検索を可能にする。
  論文  参考訳（メタデータ） (2024-02-09T17:55:01Z)
• Hierarchical Pruning of Deep Ensembles with Focal Diversity [17.127312781074245]
  ディープニューラルネットワークのアンサンブルは、複数のディープニューラルネットワークの知恵を組み合わせて、個々のネットワークに対する一般化性と堅牢性を改善する。 ミッションクリティカルないくつかのアプリケーションは、多数のディープニューラルネットワークを使用して、望ましい精度とレジリエンスを達成するためにディープアンサンブルを形成する。 本稿では,より小さなディープアンサンブルを効率的に識別できる新しいディープアンサンブル・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-17T02:48:20Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)
• Anytime Inference with Distilled Hierarchical Neural Ensembles [32.003196185519]
  深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。 階層型木構造に複数のネットワークのアンサンブルを埋め込む新しいフレームワークである階層型ニューラルネットワークアンサンブル(HNE)を提案する。 実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
  論文  参考訳（メタデータ） (2020-03-03T12:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。