論文の概要: One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking

• arxiv url: http://arxiv.org/abs/2104.00597v1
• Date: Thu, 1 Apr 2021 16:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:34:43.334318
• Title: One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking
• Title（参考訳）: 多様性誘導型サーチスペーススライキングによるワンショットニューラルアンサンブルアーキテクチャ検索
• Authors: Minghao Chen, Houwen Peng, Jianlong Fu, Haibin Ling
• Abstract要約: 本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
• 参考スコア（独自算出の注目度）: 97.60915598958968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite remarkable progress achieved, most neural architecture search (NAS) methods focus on searching for one single accurate and robust architecture. To further build models with better generalization capability and performance, model ensemble is usually adopted and performs better than stand-alone models. Inspired by the merits of model ensemble, we propose to search for multiple diverse models simultaneously as an alternative way to find powerful models. Searching for ensembles is non-trivial and has two key challenges: enlarged search space and potentially more complexity for the searched model. In this paper, we propose a one-shot neural ensemble architecture search (NEAS) solution that addresses the two challenges. For the first challenge, we introduce a novel diversity-based metric to guide search space shrinking, considering both the potentiality and diversity of candidate operators. For the second challenge, we enable a new search dimension to learn layer sharing among different models for efficiency purposes. The experiments on ImageNet clearly demonstrate that our solution can improve the supernet's capacity of ranking ensemble architectures, and further lead to better search results. The discovered architectures achieve superior performance compared with state-of-the-arts such as MobileNetV3 and EfficientNet families under aligned settings. Moreover, we evaluate the generalization ability and robustness of our searched architecture on the COCO detection benchmark and achieve a 3.1% improvement on AP compared with MobileNetV3. Codes and models are available at https://github.com/researchmm/NEAS.
• Abstract（参考訳）: 顕著な進歩にもかかわらず、ほとんどのニューラルアーキテクチャサーチ(NAS)手法は、1つの正確で堅牢なアーキテクチャを探すことに重点を置いている。 一般化能力と性能が向上したモデルをさらに構築するために、通常モデルアンサンブルが採用され、単独モデルよりも優れた性能を発揮する。 モデルアンサンブルの利点に触発されて,強力なモデルを見つけるための代替方法として,複数の多様なモデルを同時に探索することを提案する。 アンサンブルの検索は簡単ではなく、2つの大きな課題がある。 本稿では,この2つの課題を解決する一発ニューラルアンサンブル・アーキテクチャ・サーチ(neas)ソリューションを提案する。 第1の課題として,探索空間の縮小を導くために,候補演算子のポテンシャルと多様性を考慮し,新たな多様性に基づく指標を提案する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。 ImageNetの実験は、我々のソリューションがスーパーネットのランキングアンサンブルアーキテクチャの能力を向上させることを明らかに示し、さらに検索結果の改善につながった。 検出されたアーキテクチャは、MobileNetV3やEfficientNetファミリのような、整列した設定下での最先端技術よりも優れたパフォーマンスを実現する。 さらに,COCO検出ベンチマークにおける検索アーキテクチャの一般化能力とロバスト性を評価し,MobileNetV3と比較してAPの3.1%の改善を実現した。 コードとモデルはhttps://github.com/researchmm/neasで入手できる。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• Pareto-aware Neural Architecture Generation for Diverse Computational Budgets [94.27982238384847]
  既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。 提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。 このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
  論文  参考訳（メタデータ） (2022-10-14T08:30:59Z)
• NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search [9.634626241415916]
  リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。 リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-18T03:34:09Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)
• Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning [3.479254848034425]
  私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。 私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
  論文  参考訳（メタデータ） (2020-03-27T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。