論文の概要: $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis
- arxiv url: http://arxiv.org/abs/2205.03960v1
- Date: Sun, 8 May 2022 21:48:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-11 02:22:06.403642
- Title: $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis
- Title（参考訳）: $\alpha$NAS: プロパティガイド合成を用いたニューラルアーキテクチャ検索
- Authors: Charles Jin, Phitchaya Mangpo Phothilimthana, Sudip Roy
- Abstract要約: 我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。
1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。
我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
- 参考スコア（独自算出の注目度）: 1.2746672439030722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past few years, neural architecture search (NAS) has become an
increasingly important tool within the deep learning community. Despite the
many recent successes of NAS, current approaches still fall far short of the
dream of automating an entire neural network architecture design from scratch.
Most existing approaches require highly structured design spaces formulated
manually by domain experts. In this work, we develop techniques that enable
efficient NAS in a significantly larger design space. To accomplish this, we
propose to perform NAS in an abstract search space of program properties. Our
key insights are as follows: (1) the abstract search space is significantly
smaller than the original search space, and (2) architectures with similar
program properties also have similar performance; thus, we can search more
efficiently in the abstract search space. To enable this approach, we also
propose an efficient synthesis procedure, which accepts a set of promising
program properties, and returns a satisfying neural architecture. We implement
our approach, $\alpha$NAS, within an evolutionary framework, where the
mutations are guided by the program properties. Starting with a ResNet-34
model, $\alpha$NAS produces a model with slightly improved accuracy on CIFAR-10
but 96% fewer parameters. On ImageNet, $\alpha$NAS is able to improve over
Vision Transformer (30% fewer FLOPS and parameters), ResNet-50 (23% fewer
FLOPS, 14% fewer parameters), and EfficientNet (7% fewer FLOPS and parameters)
without any degradation in accuracy.
- Abstract（参考訳）: ここ数年、ニューラルネットワーク検索(NAS)は、ディープラーニングコミュニティにおいてますます重要なツールになりつつある。
最近のnasの成功にもかかわらず、現在のアプローチは、ニューラルネットワークアーキテクチャ設計全体をスクラッチから自動化するという夢に遠く及ばない。
既存のアプローチの多くは、ドメインの専門家が手動で作成した高度に構造化された設計空間を必要とする。
本研究では,より大規模な設計空間において効率的なNASを実現する技術を開発する。
そこで本研究では,プログラムプロパティの抽象的な検索空間においてNASを実行することを提案する。
主な知見は,(1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似のプログラム特性を持つアーキテクチャも類似した性能を持つため,抽象的な検索空間においてより効率的に検索できる。
このアプローチを実現するために,プログラム特性のセットを受け入れ,満足度の高いニューラルアーキテクチャを返却する効率的な合成手順を提案する。
我々は、プログラムプロパティによって変異が導かれる進化的フレームワーク内に、$\alpha$NASというアプローチを実装します。
ResNet-34モデルから始めると、$\alpha$NASはCIFAR-10ではわずかに精度が向上するが、パラメータは96%減少するモデルを生成する。
ImageNetでは、$\alpha$NASはVision Transformer(FLOPSとパラメータの30%削減)、ResNet-50(FLOPSは23%削減、パラメータは14%削減)、EfficientNet(FLOPSとパラメータの7%削減)を精度の低下なしに改善することができる。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳（メタデータ） (2024-11-21T02:43:32Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Lightweight Neural Architecture Search for Temporal Convolutional
Networks at the Edge [21.72253397805102]
この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。
我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。
提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
論文 参考訳（メタデータ） (2023-01-24T19:47:40Z) - When NAS Meets Trees: An Efficient Algorithm for Neural Architecture
Search [117.89827740405694]
ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。
少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。
TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
論文 参考訳（メタデータ） (2022-04-11T07:34:21Z) - TND-NAS: Towards Non-differentiable Objectives in Progressive
Differentiable NAS Framework [6.895590095853327]
微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。
最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。
微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
論文 参考訳（メタデータ） (2021-11-06T14:19:36Z) - NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。
慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2021-10-24T12:20:04Z) - L$^{2}$NAS: Learning to Optimize Neural Architectures via
Continuous-Action Reinforcement Learning [23.25155249879658]
微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。
L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2021-09-25T19:26:30Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - BNAS:An Efficient Neural Architecture Search Approach Using Broad
Scalable Architecture [62.587982139871976]
我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。
BNASは0.19日であり、ENASよりも2.37倍安い。
論文 参考訳（メタデータ） (2020-01-18T15:07:55Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。