論文の概要: Automating Neural Architecture Design without Search

• arxiv url: http://arxiv.org/abs/2204.11838v1
• Date: Thu, 21 Apr 2022 14:41:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-01 09:28:39.850911
• Title: Automating Neural Architecture Design without Search
• Title（参考訳）: 検索なしのニューラルアーキテクチャ設計の自動化
• Authors: Zixuan Liang, Yanan Sun
• Abstract要約: アルゴリズム実行中に生成された各ニューラルネットワークを逐次評価する必要のない新しい視点から、自動アーキテクチャ設計について検討する。 リンク予測にグラフニューラルネットワークを用いて提案手法を実装し,NAS-Bench-101から知識を得た。 さらに、NAS-Bench-101から学んだ知識を利用して、DARTS検索空間におけるアーキテクチャ設計を自動化し、CIFAR10では97.82%、ImageNetでは76.51%の精度で2時間10-4ドルのGPU日しか消費しなかった。
• 参考スコア（独自算出の注目度）: 3.651848964235307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural structure search (NAS), as the mainstream approach to automate deep neural architecture design, has achieved much success in recent years. However, the performance estimation component adhering to NAS is often prohibitively costly, which leads to the enormous computational demand. Though a large number of efforts have been dedicated to alleviating this pain point, no consensus has been made yet on which is optimal. In this paper, we study the automated architecture design from a new perspective that eliminates the need to sequentially evaluate each neural architecture generated during algorithm execution. Specifically, the proposed approach is built by learning the knowledge of high-level experts in designing state-of-the-art architectures, and then the new architecture is directly generated upon the knowledge learned. We implemented the proposed approach by using a graph neural network for link prediction and acquired the knowledge from NAS-Bench-101. Compared to existing peer competitors, we found a competitive network with minimal cost. In addition, we also utilized the learned knowledge from NAS-Bench-101 to automate architecture design in the DARTS search space, and achieved 97.82% accuracy on CIFAR10, and 76.51% top-1 accuracy on ImageNet consuming only $2\times10^{-4}$ GPU days. This also demonstrates the high transferability of the proposed approach, and can potentially lead to a new, more computationally efficient paradigm in this research direction.
• Abstract（参考訳）: ディープラーニングアーキテクチャ設計を自動化する主要なアプローチであるニューラル構造探索(NAS)は、近年大きな成功を収めている。 しかし、NASに付着する性能推定成分は、しばしば費用がかかるため、膨大な計算需要が生じる。 この苦痛を和らげるために多くの努力がなされているが、どちらが最適かはまだ合意されていない。 本稿では,アルゴリズム実行中に生成された各ニューラルアーキテクチャを逐次評価する必要がなくなる新しい視点から,自動アーキテクチャ設計について検討する。 具体的には,最先端アーキテクチャの設計において,高度な専門家の知識を習得し,学習した知識に基づいて新たなアーキテクチャを直接生成する手法を提案する。 リンク予測にグラフニューラルネットワークを用いて提案手法を実装し,NAS-Bench-101から知識を得た。 既存の競合相手と比較して、最小コストで競争力のあるネットワークを見つけました。 さらに,nas-bench-101から学んだ知識を活用して,darts検索空間におけるアーキテクチャ設計の自動化を行い,cifar10では97.82%,imagenetでは76.51%のtop-1精度を達成した。 これはまた、提案されたアプローチの高い転送可能性を示し、この研究の方向性において、より計算効率の高い新しいパラダイムをもたらす可能性がある。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
  本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。 NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-21T17:28:05Z)
• Neural Architecture Search: Insights from 1000 Papers [50.27255667347091]
  ニューラルアーキテクチャサーチの組織的で包括的なガイドを提供する。 検索空間、アルゴリズム、スピードアップのテクニックを分類する。 ベンチマークやベストプラクティス,その他の調査,オープンソースライブラリなどのリソースについて論じる。
  論文  参考訳（メタデータ） (2023-01-20T18:47:24Z)
• NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction [1.2183405753834562]
  440のニューラルアーキテクチャのNAAP-440データセットを導入し、CIFAR10で定型レシピを用いてトレーニングした。 実験では、既製の回帰アルゴリズムを使用してトレーニングプロセスの最大10%を実行することで、アーキテクチャの精度を正確に予測できるだけでなく、より正確に予測できることが示されている。 このアプローチはNASベースの研究を加速するための強力なツールとなり、それによってその効率が劇的に向上する。
  論文  参考訳（メタデータ） (2022-09-14T13:21:39Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Neural Architecture Performance Prediction Using Graph Neural Networks [17.224223176258334]
  グラフニューラルネットワーク(GNN)に基づくニューラルネットワーク性能予測のための代理モデルを提案する。 構造不明アーキテクチャのニューラルネットワーク性能予測におけるこの代理モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-19T09:33:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。