論文の概要: Going Beyond Neural Architecture Search with Sampling-based Neural Ensemble Search

• arxiv url: http://arxiv.org/abs/2109.02533v1
• Date: Mon, 6 Sep 2021 15:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:28:36.447552
• Title: Going Beyond Neural Architecture Search with Sampling-based Neural Ensemble Search
• Title（参考訳）: サンプリングに基づくニューラルネットワークアンサンブル検索によるニューラルネットワークの探索
• Authors: Yao Shu, Yizhou Chen, Zhongxiang Dai, Bryan Kian Hsiang Low
• Abstract要約: 本稿では,Nurural Ensemble Search via Smpling (NESS) フレームワークに基づく2つの新しいサンプリングアルゴリズムを提案する。 我々のNESSアルゴリズムは、分類タスクと対角防御タスクの両方において改善された性能を達成できることが示されている。
• 参考スコア（独自算出の注目度）: 31.059040393415003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Neural Architecture Search (NAS) has been widely applied to automate the design of deep neural networks. Various NAS algorithms have been proposed to reduce the search cost and improve the generalization performance of those final selected architectures. However, these NAS algorithms aim to select only a single neural architecture from the search spaces and thus have overlooked the capability of other candidate architectures in helping improve the performance of their final selected architecture. To this end, we present two novel sampling algorithms under our Neural Ensemble Search via Sampling (NESS) framework that can effectively and efficiently select a well-performing ensemble of neural architectures from NAS search space. Compared with state-of-the-art NAS algorithms and other well-known ensemble search baselines, our NESS algorithms are shown to be able to achieve improved performance in both classification and adversarial defense tasks on various benchmark datasets while incurring a comparable search cost to these NAS algorithms.
• Abstract（参考訳）: 近年、ディープニューラルネットワークの設計を自動化するために、NAS(Neural Architecture Search)が広く採用されている。 探索コストを削減し、最終選択アーキテクチャの一般化性能を向上させるため、様々なNASアルゴリズムが提案されている。 しかしながら、これらのNASアルゴリズムは、探索空間から1つのニューラルネットワークアーキテクチャのみを選択することを目的としており、最終的な選択アーキテクチャの性能向上に寄与する他の候補アーキテクチャの能力を見落としている。 この目的のために我々は,NAS検索空間からニューラルネットワークのアンサンブルを効果的かつ効率的に選択できる,Neural Ensemble Search via Smpling (NESS) フレームワークの2つの新しいサンプリングアルゴリズムを提案する。 最新のNASアルゴリズムや他のよく知られたアンサンブル検索ベースラインと比較して、NESSアルゴリズムは、これらのNASアルゴリズムに匹敵する検索コストを発生させながら、様々なベンチマークデータセット上の分類タスクと対角防御タスクの両方において、改善されたパフォーマンスを実現することができる。

関連論文リスト

• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• HiveNAS: Neural Architecture Search using Artificial Bee Colony Optimization [0.0]
  本研究では,ニューラルネットワーク探索のための人工蜂コロニー最適化の実現可能性を評価する。 提案するフレームワークであるHiveNASは、最先端のSwarm IntelligenceベースのNASフレームワークを短時間で上回ります。
  論文  参考訳（メタデータ） (2022-11-18T14:11:47Z)
• NASI: Label- and Data-agnostic Neural Architecture Search at Initialization [35.18069719489172]
  我々はNAS at Initialization (NASI)と呼ばれる新しいNASアルゴリズムを提案する。 NASIはニューラル・タンジェント・カーネルの機能を利用して、候補アーキテクチャの収束性能を特徴づける。 NASIはまた、CIFAR-10/100やImageNetなど、さまざまなデータセットで競合する検索効率を実現している。
  論文  参考訳（メタデータ） (2021-09-02T09:49:28Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。