論文の概要: FTSO: Effective NAS via First Topology Second Operator

• arxiv url: http://arxiv.org/abs/2303.12948v1
• Date: Tue, 28 Feb 2023 17:34:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-03-25 02:31:41.707547
• Title: FTSO: Effective NAS via First Topology Second Operator
• Title（参考訳）: FTSO:第1トポロジー第2オペレータによる効果的なNAS
• Authors: Likang Wang, Lei Chen
• Abstract要約: 本稿では,アーキテクチャ検索全体を2つのサブステップに分割するFTSO法を提案する。 18秒以内にFTSOは76.4%の精度を達成でき、SOTA、PC-DARTSよりも1.5%高い。 FTSOは97.77%の精度でSOTAより0.27%高く、CIFAR10で検索すると100%(99.8%)の検索時間を節約できる。
• 参考スコア（独自算出の注目度）: 6.703326362338547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing one-shot neural architecture search (NAS) methods have to conduct a search over a giant super-net, which leads to the huge computational cost. To reduce such cost, in this paper, we propose a method, called FTSO, to divide the whole architecture search into two sub-steps. Specifically, in the first step, we only search for the topology, and in the second step, we search for the operators. FTSO not only reduces NAS's search time from days to 0.68 seconds, but also significantly improves the found architecture's accuracy. Our extensive experiments on ImageNet show that within 18 seconds, FTSO can achieve a 76.4% testing accuracy, 1.5% higher than the SOTA, PC-DARTS. In addition, FTSO can reach a 97.77% testing accuracy, 0.27% higher than the SOTA, with nearly 100% (99.8%) search time saved, when searching on CIFAR10.
• Abstract（参考訳）: 既存のone-shot neural architecture search(nas)メソッドは巨大なスーパーネットを探索しなければならないため、膨大な計算コストがかかる。 このようなコストを削減するために,アーキテクチャ全体の探索を2つのサブステップに分割するFTSOという手法を提案する。 具体的には、最初のステップではトポロジーのみを検索し、2番目のステップでは演算子を検索します。 FTSOはNASの検索時間を数日から0.68秒に短縮するだけでなく、発見されたアーキテクチャの精度を大幅に改善する。 ImageNetでの大規模な実験により、FTSOは18秒以内に76.4%の精度で、SOTA、PC-DARTSよりも1.5%高い精度でテストできることがわかった。 さらにFTSOは97.77%の精度でSOTAより0.27%高く、CIFAR10で検索すると100%(99.8%)の検索時間を節約できる。

関連論文リスト

• Differentiable Architecture Search with Random Features [80.31916993541513]
  微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進してきたが、性能の低下に悩まされている。 本稿では,BatchNormのトレーニングのみによるDARTSの性能崩壊問題を軽減するための取り組みを行う。
  論文  参考訳（メタデータ） (2022-08-18T13:55:27Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• RelativeNAS: Relative Neural Architecture Search via Slow-Fast Learning [31.246979560129855]
  RelativeNASはニューラルアーキテクチャサーチ(NAS)手法である。 RelativeNASは、高速学習者(比較的高い精度のネットワーク)と低速学習者(英語版)をペア方式で共同学習する。 RelativeNASは、ImageNet上で24.88%のエラー率で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-14T04:38:07Z)
• Few-shot Neural Architecture Search [35.28010196935195]
  サブスーパーネットと呼ばれる複数のスーパーネットワークを用いて、検索空間の異なる領域をカバーし、望ましくないコ・アダプションを緩和する数ショットNASを提案する。 ImageNetでは、600MB FLOPSで80.5%、238 MFLOPSで77.5%のTop-1精度に達するモデルが見つかる。
  論文  参考訳（メタデータ） (2020-06-11T22:36:01Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。