論文の概要: Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers

• arxiv url: http://arxiv.org/abs/2201.12896v1
• Date: Sun, 30 Jan 2022 19:13:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 16:12:13.484219
• Title: Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers
• Title（参考訳）: 分類器のアンサンブルにおけるエンジニアのメタ多様性に対する代理モデルによる新規性探索の強化
• Authors: Rui P. Cardoso, Emma Hart, David Burth Kurka and Jeremy V. Pitt
• Abstract要約: 行動多様性を促進するために神経進化とノベルティ検索を組み合わせることで、分類のための高性能なアンサンブルを構築することができる。 本稿では,2つのニューラルネットワークアーキテクチャ間の挙動距離を推定する代理モデルを用いて,この制限を克服する手法を提案する。
• 参考スコア（独自算出の注目度）: 5.8497361730688695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using Neuroevolution combined with Novelty Search to promote behavioural diversity is capable of constructing high-performing ensembles for classification. However, using gradient descent to train evolved architectures during the search can be computationally prohibitive. Here we propose a method to overcome this limitation by using a surrogate model which estimates the behavioural distance between two neural network architectures required to calculate the sparseness term in Novelty Search. We demonstrate a speedup of 10 times over previous work and significantly improve on previous reported results on three benchmark datasets from Computer Vision -- CIFAR-10, CIFAR-100, and SVHN. This results from the expanded architecture search space facilitated by using a surrogate. Our method represents an improved paradigm for implementing horizontal scaling of learning algorithms by making an explicit search for diversity considerably more tractable for the same bounded resources.
• Abstract（参考訳）: 行動多様性を促進するために神経進化とノベルティ検索を組み合わせることで、分類のための高性能なアンサンブルを構築することができる。 しかし、勾配降下を用いて探索中に進化したアーキテクチャを訓練することは計算的に禁止される。 本稿では,2つのニューラルネットワークアーキテクチャ間の動作距離を推定し,ノベルティサーチのスパース項を計算することで,この制限を克服する手法を提案する。 我々は、コンピュータビジョン(CIFAR-10、CIFAR-100、SVHN)の3つのベンチマークデータセットに対して、以前の研究よりも10倍のスピードアップを示し、以前の報告結果を大幅に改善した。 この結果はサーロゲートを用いて拡張されたアーキテクチャ探索空間から得られる。 提案手法は, 学習アルゴリズムの水平スケーリングを実現するためのパラダイムとして, 同じ資源に対して, 多様性の明示的な探索をかなり容易に行えるようにすることで実現されている。

関連論文リスト

• MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
  我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。 各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-23T16:32:18Z)
• Continuous Cartesian Genetic Programming based representation for Multi-Objective Neural Architecture Search [12.545742558041583]
  我々は、より複雑で高効率な畳み込みニューラルネットワーク(CNN)を設計するための新しいアプローチを提案する。 我々のアプローチは、ニューラルネットワーク探索(NAS)のためのカルテシアン遺伝的プログラミング(CGP)に基づく実ベースCNNとブロックチェーンCNNの表現を組み合わせたものである。 それらが考慮する探索空間の粒度が異なる2つの変種が導入された。
  論文  参考訳（メタデータ） (2023-06-05T07:32:47Z)
• HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search [104.45426861115972]
  設計したハイパーカーネルを利用して,構造パラメータを直接生成することを提案する。 我々は1次元または3次元の畳み込みを伴う画素レベルの分類と画像レベルの分類を別々に行う3種類のネットワークを得る。 6つの公開データセットに関する一連の実験は、提案手法が最先端の結果を得ることを示した。
  論文  参考訳（メタデータ） (2023-04-23T17:27:40Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。