論文の概要: DropNAS: Grouped Operation Dropout for Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2201.11679v1
• Date: Thu, 27 Jan 2022 17:28:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 14:02:28.308582
• Title: DropNAS: Grouped Operation Dropout for Differentiable Architecture Search
• Title（参考訳）: DropNAS: 異なるアーキテクチャ検索のためのグループ化されたオペレーションドロップアウト
• Authors: Weijun Hong, Guilin Li, Weinan Zhang, Ruiming Tang, Yunhe Wang, Zhenguo Li, Yong Yu
• Abstract要約: 近年、DARTSは、ウェイトシェアリングとSGDを活用した微分可能な定式化により、検索プロセスを緩和している。 第一に、より多くのパラメータを持つ操作は、望まれる関数を表現する機会を持たないかもしれない。 そこで我々はDARTSの問題を解決するために,DropNASというグループ化されたオペレーションドロップアウトアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 78.06809383150437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has shown encouraging results in automating the architecture design. Recently, DARTS relaxes the search process with a differentiable formulation that leverages weight-sharing and SGD where all candidate operations are trained simultaneously. Our empirical results show that such procedure results in the co-adaption problem and Matthew Effect: operations with fewer parameters would be trained maturely earlier. This causes two problems: firstly, the operations with more parameters may never have the chance to express the desired function since those with less have already done the job; secondly, the system will punish those underperforming operations by lowering their architecture parameter, and they will get smaller loss gradients, which causes the Matthew Effect. In this paper, we systematically study these problems and propose a novel grouped operation dropout algorithm named DropNAS to fix the problems with DARTS. Extensive experiments demonstrate that DropNAS solves the above issues and achieves promising performance. Specifically, DropNAS achieves 2.26% test error on CIFAR-10, 16.39% on CIFAR-100 and 23.4% on ImageNet (with the same training hyperparameters as DARTS for a fair comparison). It is also observed that DropNAS is robust across variants of the DARTS search space. Code is available at https://github.com/wiljohnhong/DropNAS.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計の自動化に励む結果を示している。 最近dartsは、すべての候補操作を同時にトレーニングするウェイトシェアリングとsgdを活用する、微分可能な定式化で検索プロセスを緩和している。 実験の結果,このような手法が共適応問題やマシュー効果をもたらすことが明らかとなった。 これは2つの問題を引き起こす: 第一に、より多くのパラメータを持つ操作は、ジョブを既に完了しているため、望ましい関数を表現できないかもしれない;第二に、システムは、アーキテクチャパラメータを下げることで、それらのパフォーマンスの低い操作を罰し、損失勾配を小さくし、matthew効果を引き起こす。 本稿では,これらの問題を体系的に研究し,DARTSの問題を解決するためにDropNASというグループ化されたオペレーションドロップアウトアルゴリズムを提案する。 大規模な実験では、DropNASが上記の問題を解決し、有望なパフォーマンスを実現している。 具体的には、DropNASはCIFAR-10で2.26%、CIFAR-100で16.39%、ImageNetで23.4%を達成している。 また、DropNASはDARTSの検索空間の変形に対して堅牢であることも観察された。 コードはhttps://github.com/wiljohnhong/DropNASで入手できる。

関連論文リスト

• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• Zero-Cost Proxies Meet Differentiable Architecture Search [20.957570100784988]
  微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-06-12T15:33:36Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。