論文の概要: Generative Adversarial Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2105.09356v1
• Date: Wed, 19 May 2021 18:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:44:20.662907
• Title: Generative Adversarial Neural Architecture Search
• Title（参考訳）: 生成型adversarial neural architecture search
• Authors: Seyed Saeed Changiz Rezaei, Fred X. Han, Di Niu, Mohammad Salameh, Keith Mills, Shuo Lian, Wei Lu, and Shangling Jui
• Abstract要約: 理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。 GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
• 参考スコア（独自算出の注目度）: 21.05611902967155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the empirical success of neural architecture search (NAS) in deep learning applications, the optimality, reproducibility and cost of NAS schemes remain hard to assess. In this paper, we propose Generative Adversarial NAS (GA-NAS) with theoretically provable convergence guarantees, promoting stability and reproducibility in neural architecture search. Inspired by importance sampling, GA-NAS iteratively fits a generator to previously discovered top architectures, thus increasingly focusing on important parts of a large search space. Furthermore, we propose an efficient adversarial learning approach, where the generator is trained by reinforcement learning based on rewards provided by a discriminator, thus being able to explore the search space without evaluating a large number of architectures. Extensive experiments show that GA-NAS beats the best published results under several cases on three public NAS benchmarks. In the meantime, GA-NAS can handle ad-hoc search constraints and search spaces. We show that GA-NAS can be used to improve already optimized baselines found by other NAS methods, including EfficientNet and ProxylessNAS, in terms of ImageNet accuracy or the number of parameters, in their original search space.
• Abstract（参考訳）: ディープラーニングアプリケーションにおけるニューラルネットワーク探索(NAS)の実証的な成功にもかかわらず、NASスキームの最適性、再現性、コストは評価が難しいままである。 本稿では、理論的に証明可能な収束保証を持ち、ニューラルネットワーク探索における安定性と再現性を促進するジェネレーティブ・コンバーサリーnas(ga-nas)を提案する。 GA-NASは重要サンプリングにインスパイアされ、以前に発見されたトップアーキテクチャに反復的にジェネレータを適合させる。 さらに,判別器による報奨に基づく強化学習によってジェネレータを学習し,多数のアーキテクチャを評価せずに探索空間を探索できる効率的な対角学習手法を提案する。 大規模な実験により、GA-NASは3つのNASベンチマークでいくつかのケースで最高の結果を公表した。 一方、GA-NASはアドホックな検索制約や検索スペースを処理できる。 GA-NASは、画像ネットの精度やパラメータ数の観点から、EfficientNetやProxylessNASなど他のNAS手法で既に最適化されているベースラインの改善に利用できることを示す。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Guided Evolution for Neural Architecture Search [1.0499611180329804]
  進化的ニューラルネットワーク探索(NAS)のための新しい手法を提案する。 G-EAの背後にある理論的根拠は、各世代における複数のアーキテクチャの生成と評価によって、検索空間を探索することである。 G-EAは、親突然変異による探索を強制しながら、子孫世代による最も優れたネットワークの活用を強制する。
  論文  参考訳（メタデータ） (2021-10-28T15:43:20Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Angle-based Search Space Shrinking for Neural Architecture Search [78.49722661000442]
  ニューラルネットワーク探索(NAS)のためのアングルベースサーチスペーススライキング(ABS) 提案手法は,未提案の候補を落として,検索空間を段階的に単純化する。 ABSは、有望なスランク検索空間を提供することで、既存のNASアプローチを劇的に強化することができる。
  論文  参考訳（メタデータ） (2020-04-28T11:26:46Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。