論文の概要: Neural Architecture Search via Combinatorial Multi-Armed Bandit

• arxiv url: http://arxiv.org/abs/2101.00336v1
• Date: Fri, 1 Jan 2021 23:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 13:22:45.870511
• Title: Neural Architecture Search via Combinatorial Multi-Armed Bandit
• Title（参考訳）: 組合せ多腕バンディットによるニューラルアーキテクチャ探索
• Authors: Hanxun Huang, Xingjun Ma, Sarah M. Erfani, James Bailey
• Abstract要約: NASをCMAB(Combinial Multi-Armed Bandit)問題(CMAB-NAS)として定式化します。 これにより、大きな検索空間を小さなブロックに分解し、木探索手法をより効率的かつ効率的に適用することができます。 我々はNested Monte-Carlo Searchと呼ばれる木に基づく手法を用いてCMAB-NAS問題に取り組む。 CIFAR-10では,0.58GPU日で,最先端技術に匹敵する低エラー率を実現するセル構造を探索する。
• 参考スコア（独自算出の注目度）: 43.29214413461234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) has gained significant popularity as an effective tool for designing high performance deep neural networks (DNNs). NAS can be performed via policy gradient, evolutionary algorithms, differentiable architecture search or tree-search methods. While significant progress has been made for both policy gradient and differentiable architecture search, tree-search methods have so far failed to achieve comparable accuracy or search efficiency. In this paper, we formulate NAS as a Combinatorial Multi-Armed Bandit (CMAB) problem (CMAB-NAS). This allows the decomposition of a large search space into smaller blocks where tree-search methods can be applied more effectively and efficiently. We further leverage a tree-based method called Nested Monte-Carlo Search to tackle the CMAB-NAS problem. On CIFAR-10, our approach discovers a cell structure that achieves a low error rate that is comparable to the state-of-the-art, using only 0.58 GPU days, which is 20 times faster than current tree-search methods. Moreover, the discovered structure transfers well to large-scale datasets such as ImageNet.
• Abstract（参考訳）: ニューラルネットワーク(NAS)は、高性能ディープニューラルネットワーク(DNN)を設計するための効果的なツールとして、大きな人気を集めている。 nasは、ポリシー勾配、進化アルゴリズム、微分可能なアーキテクチャ検索、ツリー検索メソッドを通じて実行することができる。 ポリシグラデーションと微分可能なアーキテクチャ検索の両面で大きな進歩があったが、ツリー検索手法はこれまでのところ、同等の精度や探索効率を達成できなかった。 本稿では、NASをCMAB問題(CMAB-NAS)として定式化する。 これにより、大きな探索空間を小さなブロックに分解し、ツリー探索法をより効果的かつ効率的に適用することができる。 我々はさらにNested Monte-Carlo Searchと呼ばれる木に基づく手法を利用してCMAB-NAS問題に取り組む。 CIFAR-10では,従来の木探索法よりも20倍高速な0.58 GPU日で,最先端技術に匹敵する低エラー率を実現するセル構造を探索する。 さらに、発見された構造はImageNetのような大規模データセットによく転送される。

関連論文リスト

• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。