論文の概要: Prioritized Architecture Sampling with Monto-Carlo Tree Search

• arxiv url: http://arxiv.org/abs/2103.11922v1
• Date: Mon, 22 Mar 2021 15:09:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:25:03.918278
• Title: Prioritized Architecture Sampling with Monto-Carlo Tree Search
• Title（参考訳）: モンテカルロ木探索による優先順位付けアーキテクチャサンプリング
• Authors: Xiu Su, Tao Huang, Yanxi Li, Shan You, Fei Wang, Chen Qian, Changshui Zhang, Chang Xu
• Abstract要約: ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
• 参考スコア（独自算出の注目度）: 54.72096546595955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot neural architecture search (NAS) methods significantly reduce the search cost by considering the whole search space as one network, which only needs to be trained once. However, current methods select each operation independently without considering previous layers. Besides, the historical information obtained with huge computation cost is usually used only once and then discarded. In this paper, we introduce a sampling strategy based on Monte Carlo tree search (MCTS) with the search space modeled as a Monte Carlo tree (MCT), which captures the dependency among layers. Furthermore, intermediate results are stored in the MCT for the future decision and a better exploration-exploitation balance. Concretely, MCT is updated using the training loss as a reward to the architecture performance; for accurately evaluating the numerous nodes, we propose node communication and hierarchical node selection methods in the training and search stages, respectively, which make better uses of the operation rewards and hierarchical information. Moreover, for a fair comparison of different NAS methods, we construct an open-source NAS benchmark of a macro search space evaluated on CIFAR-10, namely NAS-Bench-Macro. Extensive experiments on NAS-Bench-Macro and ImageNet demonstrate that our method significantly improves search efficiency and performance. For example, by only searching $20$ architectures, our obtained architecture achieves $78.0\%$ top-1 accuracy with 442M FLOPs on ImageNet. Code (Benchmark) is available at: \url{https://github.com/xiusu/NAS-Bench-Macro}.
• Abstract（参考訳）: one-shot neural architecture search (nas)メソッドは、検索空間全体を1つのネットワークとして考慮することで、検索コストを大幅に削減する。 しかし、現在の手法では、各操作を従来のレイヤを考慮せずに独立に選択する。 また、膨大な計算コストで得られた歴史的情報は、通常一度だけ使われ、捨てられる。 本稿では,モンテカルロ木探索 (mcts) に基づくサンプリング戦略をモンテカルロ木 (mct) としてモデル化した探索空間を用いて紹介する。 さらに、将来の決定とより良い探査・探査バランスのために中間結果をCTに格納する。 具体的には、MCTをアーキテクチャ性能の報奨としてトレーニング損失を用いて更新し、多数のノードを正確に評価するために、トレーニング段階と検索段階におけるノード通信と階層ノード選択手法を提案し、演算報酬と階層情報をよりよく活用する。 さらに、異なるNAS法を公平に比較するために、CIFAR-10、すなわちNAS-Bench-Macroで評価されたマクロ検索空間のオープンソースNASベンチマークを構築する。 nas-bench-macro と imagenet の広範な実験により,検索効率と性能が大幅に向上した。 例えば、20ドルのアーキテクチャのみを検索することで、取得したアーキテクチャは、ImageNetで442MのFLOPで、78.0\%のtop-1精度を達成した。 コード (benchmark) は \url{https://github.com/xiusu/nas-bench-macro} で利用可能である。

関連論文リスト

• LayerNAS: Neural Architecture Search in Polynomial Complexity [18.36070437021082]
  我々は多目的NASの課題に対処するためにLayerNASを提案する。 LayerNASグループは、モデルサイズやレイテンシなどの1つの目的に基づいて候補をモデル化し、別の目的に基づいて最適なモデルを探す。 実験の結果,LayerNASは様々な検索空間にまたがる優れたモデルを見つけることができることがわかった。
  論文  参考訳（メタデータ） (2023-04-23T02:08:00Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets [42.993720854755736]
  本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
  論文  参考訳（メタデータ） (2021-07-02T06:33:59Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Neural Architecture Search via Combinatorial Multi-Armed Bandit [43.29214413461234]
  NASをCMAB(Combinial Multi-Armed Bandit)問題(CMAB-NAS)として定式化します。 これにより、大きな検索空間を小さなブロックに分解し、木探索手法をより効率的かつ効率的に適用することができます。 我々はNested Monte-Carlo Searchと呼ばれる木に基づく手法を用いてCMAB-NAS問題に取り組む。 CIFAR-10では,0.58GPU日で,最先端技術に匹敵する低エラー率を実現するセル構造を探索する。
  論文  参考訳（メタデータ） (2021-01-01T23:29:33Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Fine-Grained Stochastic Architecture Search [6.277767522867666]
  Fine-Grained Architecture Search (FiGS) は、より大きな候補アーキテクチャの集合を探索する微分可能な検索手法である。 FiGSは、構造化スパース正規化ペナルティを適用して、検索空間内の演算子を同時に選択・変更する。 既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムのマッチングや性能を向上する。
  論文  参考訳（メタデータ） (2020-06-17T01:04:14Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。