Fugu-MT 論文翻訳(概要): Few-shot Neural Architecture Search

論文の概要: Few-shot Neural Architecture Search

arxiv url: http://arxiv.org/abs/2006.06863v9
Date: Mon, 2 Aug 2021 03:41:45 GMT
ステータス: 処理完了
システム内更新日: 2022-11-22 09:36:56.156496
Title: Few-shot Neural Architecture Search
Title（参考訳）: 数発のニューラルアーキテクチャ探索
Authors: Yiyang Zhao, Linnan Wang, Yuandong Tian, Rodrigo Fonseca, Tian Guo
Abstract要約: サブスーパーネットと呼ばれる複数のスーパーネットワークを用いて、検索空間の異なる領域をカバーし、望ましくないコ・アダプションを緩和する数ショットNASを提案する。 ImageNetでは、600MB FLOPSで80.5%、238 MFLOPSで77.5%のTop-1精度に達するモデルが見つかる。
参考スコア（独自算出の注目度）: 35.28010196935195
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Efficient evaluation of a network architecture drawn from a large search space remains a key challenge in Neural Architecture Search (NAS). Vanilla NAS evaluates each architecture by training from scratch, which gives the true performance but is extremely time-consuming. Recently, one-shot NAS substantially reduces the computation cost by training only one supernetwork, a.k.a. supernet, to approximate the performance of every architecture in the search space via weight-sharing. However, the performance estimation can be very inaccurate due to the co-adaption among operations. In this paper, we propose few-shot NAS that uses multiple supernetworks, called sub-supernet, each covering different regions of the search space to alleviate the undesired co-adaption. Compared to one-shot NAS, few-shot NAS improves the accuracy of architecture evaluation with a small increase of evaluation cost. With only up to 7 sub-supernets, few-shot NAS establishes new SoTAs: on ImageNet, it finds models that reach 80.5% top-1 accuracy at 600 MB FLOPS and 77.5% top-1 accuracy at 238 MFLOPS; on CIFAR10, it reaches 98.72% top-1 accuracy without using extra data or transfer learning. In Auto-GAN, few-shot NAS outperforms the previously published results by up to 20%. Extensive experiments show that few-shot NAS significantly improves various one-shot methods, including 4 gradient-based and 6 search-based methods on 3 different tasks in NasBench-201 and NasBench1-shot-1.
Abstract（参考訳）: 大規模探索空間からのネットワークアーキテクチャの効率的な評価は、ニューラルネットワーク探索(nas)において重要な課題である。 Vanilla NASは、各アーキテクチャをスクラッチからトレーニングすることで評価する。近年、一発NASは1つのスーパーネットワーク、すなわちスーパーネットのみをトレーニングし、重み付けによって検索空間内の全てのアーキテクチャの性能を近似することで、計算コストを大幅に削減している。しかし、演算間の共適応のため、性能推定は非常に不正確である。本稿では,サブスーパーネットと呼ばれる複数のスーパーネットワークを用いて,検索空間の異なる領域をカバーする少数ショットnasを提案する。単発NASと比較して、少数ショットNASは、少ない評価コストでアーキテクチャ評価の精度を向上させる。 imagenetでは、600mbのフロップで80.5%のtop-1精度に達し、238mflopsで77.5%のtop-1精度を持つモデルが見つかった。cifar10では、追加のデータや転送学習を使わずに98.72%のtop-1精度に達する。 Auto-GANでは、数発のNASが、これまで公表された結果を最大20%上回っている。 NasBench-201とNasBench1-shot-1の3つのタスクに対する4つの勾配法と6つの探索法を含む、ショット数NASは、様々なワンショット法を著しく改善することを示した。

関連論文リスト

SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
論文参考訳（メタデータ） (2023-11-22T05:25:24Z)
Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance [5.065947993017157]
我々は、広く使われているNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101ベンチマークを実証分析した。性能範囲の上限に近いアーキテクチャを生成するためには,操作プールのサブセットのみが必要であることがわかった。一貫性のある畳み込みレイヤは、アーキテクチャのパフォーマンスに最も影響していると考えています。
論文参考訳（メタデータ） (2023-03-29T18:03:28Z)
ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients [17.139381064317778]
我々は、#Paramsよりも一貫して動作する新しいゼロショットプロキシZiCoを提案する。 ZiCoベースのNASは、それぞれ450M、600M、1000Mの予測予算で78.1%、79.4%、80.4%のテスト精度で最適なアーキテクチャを見つけることができる。
論文参考訳（メタデータ） (2023-01-26T18:38:56Z)
RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies [20.076610051602618]
ランキングの整合性を高めるために、ランキング蒸留ワンショットNAS(RD-NAS)を提案する。 NAS-Bench-201とResNetベースの検索空間の評価は、RD-NASが10.7%と9.65%の改善を達成していることを示している。
論文参考訳（メタデータ） (2023-01-24T07:49:04Z)
When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
論文参考訳（メタデータ） (2022-04-11T07:34:21Z)
BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文参考訳（メタデータ） (2021-11-25T18:13:42Z)
TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
論文参考訳（メタデータ） (2021-11-06T14:19:36Z)
Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文参考訳（メタデータ） (2020-09-08T15:51:23Z)
Powering One-shot Topological NAS with Stabilized Share-parameter Proxy [65.09967910722932]
ワンショットNAS法は、高性能モデルを発見するための訓練効率と能力が際立ったため、研究コミュニティから大きな関心を集めている。本研究では,大規模Topology Augmented Search Spaceにおいて,高性能なネットワークアーキテクチャを探索することにより,ワンショットNASの向上を図る。提案手法は,ImageNet 上の Multiply-Adds (MAdds) 制約下での最先端性能を実現する。
論文参考訳（メタデータ） (2020-05-21T08:18:55Z)
DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
論文参考訳（メタデータ） (2020-02-21T04:41:47Z)
NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
論文参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。