論文の概要: Evolving Zero Cost Proxies For Neural Architecture Scoring
- arxiv url: http://arxiv.org/abs/2209.07413v1
- Date: Thu, 15 Sep 2022 16:10:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 11:52:32.941236
- Title: Evolving Zero Cost Proxies For Neural Architecture Scoring
- Title（参考訳）: ニューラルアーキテクチャスコアリングのためのゼロコストプロキシの進化
- Authors: Yash Akhauri, J. Pablo Munoz, Nilesh Jain, Ravi Iyer
- Abstract要約: ニューラルネットワークスコアリングのためのゼロコストプロキシの発見を自動化するための遺伝的プログラミングフレームワークを提案する。
本手法は,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見し,高いスコアと精度の相関関係を示す。
- 参考スコア（独自算出の注目度）: 3.441021278275805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) has significantly improved productivity in
the design and deployment of neural networks (NN). As NAS typically evaluates
multiple models by training them partially or completely, the improved
productivity comes at the cost of significant carbon footprint. To alleviate
this expensive training routine, zero-shot/cost proxies analyze an NN at
initialization to generate a score, which correlates highly with its true
accuracy. Zero-cost proxies are currently designed by experts conducting
multiple cycles of empirical testing on possible algorithms, data-sets, and
neural architecture design spaces. This lowers productivity and is an
unsustainable approach towards zero-cost proxy design as deep learning
use-cases diversify in nature. Additionally, existing zero-cost proxies fail to
generalize across neural architecture design spaces. In this paper, we propose
a genetic programming framework to automate the discovery of zero-cost proxies
for neural architecture scoring. Our methodology efficiently discovers an
interpretable and generalizable zero-cost proxy that gives state of the art
score-accuracy correlation on all data-sets and search spaces of NASBench-201
and Network Design Spaces (NDS). We believe that this research indicates a
promising direction towards automatically discovering zero-cost proxies that
can work across network architecture design spaces, data-sets, and tasks.
- Abstract（参考訳）: ニューラルネットワーク(NN)の設計と展開において、NAS(Neural Architecture Search)は生産性を大幅に改善した。
NASは通常、複数のモデルを部分的にまたは完全にトレーニングすることで評価するので、生産性の向上は炭素フットプリントの大幅なコストが伴う。
この高価なトレーニングルーチンを緩和するために、ゼロショット/コストプロキシは初期化時にnnを分析しスコアを生成する。
ゼロコストプロキシは、現在、可能アルゴリズム、データセット、ニューラルネットワーク設計空間に関する経験的テストの複数のサイクルを実行する専門家によって設計されている。
これは生産性を低下させ、ディープラーニングのユースケースが本質的に多様化する中で、ゼロコストプロキシ設計への持続不可能なアプローチである。
さらに、既存のゼロコストプロキシは、ニューラルネットワーク設計空間をまたいだ一般化に失敗する。
本稿では,神経アーキテクチャスコアリングのためのゼロコストプロキシの発見を自動化する遺伝的プログラミングフレームワークを提案する。
提案手法は,NASBench-201 と Network Design Spaces (NDS) のすべてのデータ集合と検索空間について,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見する。
この研究は、ネットワークアーキテクチャ設計スペース、データセット、タスクをまたいで機能するゼロコストプロキシの自動発見に向けた有望な方向を示すものだと考えています。
関連論文リスト
- GreenMachine: Automatic Design of Zero-Cost Proxies for Energy-Efficient NAS [0.8192907805418583]
本稿では,Deep Neural Networks (DNN) を効率的に評価するために,ゼロコストプロキシを自動設計することで,モデル評価の課題に対処する。
提案手法は,NATS-Benchベンチマークを用いて,無作為に生成されたゼロコストプロキシセットから開始する。
その結果, 本手法は, 階層化サンプリング戦略において, 既存の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-11-22T17:24:19Z) - TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。
TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。
TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
論文 参考訳（メタデータ） (2024-03-30T07:25:30Z) - Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。
本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。
ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
論文 参考訳（メタデータ） (2024-02-27T11:52:49Z) - A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。
NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-02-21T17:28:05Z) - FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。
本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
論文 参考訳（メタデータ） (2022-06-17T11:16:28Z) - Automating Neural Architecture Design without Search [3.651848964235307]
アルゴリズム実行中に生成された各ニューラルネットワークを逐次評価する必要のない新しい視点から、自動アーキテクチャ設計について検討する。
リンク予測にグラフニューラルネットワークを用いて提案手法を実装し,NAS-Bench-101から知識を得た。
さらに、NAS-Bench-101から学んだ知識を利用して、DARTS検索空間におけるアーキテクチャ設計を自動化し、CIFAR10では97.82%、ImageNetでは76.51%の精度で2時間10-4ドルのGPU日しか消費しなかった。
論文 参考訳（メタデータ） (2022-04-21T14:41:05Z) - Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。
まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。
我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
論文 参考訳（メタデータ） (2020-10-27T18:08:57Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。