論文の概要: ES-ENAS: Combining Evolution Strategies with Neural Architecture Search at No Extra Cost for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2101.07415v1
• Date: Tue, 19 Jan 2021 02:19:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:09:52.451447
• Title: ES-ENAS: Combining Evolution Strategies with Neural Architecture Search at No Extra Cost for Reinforcement Learning
• Title（参考訳）: ES-ENAS:強化学習のための余分なコストなしで進化戦略とニューラルネットワーク検索を組み合わせる
• Authors: Xingyou Song, Krzysztof Choromanski, Jack Parker-Holder, Yunhao Tang, Daiyi Peng, Deepali Jain, Wenbo Gao, Aldo Pacchiano, Tamas Sarlos, Yuxiang Yang
• Abstract要約: 強化学習(RL)政策設計を目的とした単純なニューラルネットワーク探索(NAS)アルゴリズムES-ENASについて紹介する。 複数のタスクに対する90%以上のネットワーク圧縮を実現し,ストレージと計算資源に制限のある移動ロボット工学に特に関心を持つ可能性がある。
• 参考スコア（独自算出の注目度）: 46.4401207304477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ES-ENAS, a simple neural architecture search (NAS) algorithm for the purpose of reinforcement learning (RL) policy design, by combining Evolutionary Strategies (ES) and Efficient NAS (ENAS) in a highly scalable and intuitive way. Our main insight is noticing that ES is already a distributed blackbox algorithm, and thus we may simply insert a model controller from ENAS into the central aggregator in ES and obtain weight sharing properties for free. By doing so, we bridge the gap from NAS research in supervised learning settings to the reinforcement learning scenario through this relatively simple marriage between two different lines of research, and are one of the first to apply controller-based NAS techniques to RL. We demonstrate the utility of our method by training combinatorial neural network architectures for RL problems in continuous control, via edge pruning and weight sharing. We also incorporate a wide variety of popular techniques from modern NAS literature, including multiobjective optimization and varying controller methods, to showcase their promise in the RL field and discuss possible extensions. We achieve >90% network compression for multiple tasks, which may be special interest in mobile robotics with limited storage and computational resources.
• Abstract（参考訳）: 本稿では、進化戦略(ES)と効率的なNAS(ENAS)を高度にスケーラブルかつ直感的に組み合わせることで、強化学習(RL)ポリシー設計のための単純なニューラルネットワーク探索(NAS)アルゴリズムであるES-ENASを紹介する。 我々はESがすでに分散ブラックボックスアルゴリズムであることに気付き、ESの中央アグリゲータにENASからモデルコントローラを挿入するだけで、重量共有特性を無償で取得できると考えている。 これにより、教師付き学習環境におけるNAS研究から強化学習シナリオへのギャップを、2つの異なる研究ライン間の比較的単純な結婚を通じて埋めることができ、RLにコントローラベースのNAS技術を適用した最初の1つである。 エッジプルーニングと重み共有による連続制御におけるRL問題に対する組合せニューラルネットワークアーキテクチャの訓練により,本手法の有用性を実証する。 我々はまた、多目的最適化や様々な制御メソッドを含む、現代的なnas文学から広く普及したテクニックを取り入れ、rlフィールドにその約束を示し、拡張の可能性について議論した。 複数のタスクに対する90%以上のネットワーク圧縮を実現し,ストレージと計算資源に制限のある移動ロボット工学に特に関心を持つ可能性がある。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• Divide-and-Conquer the NAS puzzle in Resource Constrained Federated Learning Systems [5.53904487910875]
  我々は,超ネットベースのニューラルアーキテクチャサーチ(NAS)を,探索空間を体系的にサンプリングすることで,分散・分散方式のDC-NASを提案する。 提案手法は,サンプルを最大に分離したアダマールサンプリングなど,いくつかのサンプリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-11T20:57:29Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Towards Self-supervised and Weight-preserving Neural Architecture Search [38.497608743382145]
  本研究では,現在のNASフレームワークの拡張として,自己教師付き重み保存型ニューラルネットワーク探索(SSWP-NAS)を提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 提案したフレームワークによって探索されたアーキテクチャが, 最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:48:05Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning [0.0]
  コントローラベースのNASに適用可能なプリトレーニング方式を提案する。 本手法は局所性に基づく自己教師付き分類タスクであり,ネットワークアーキテクチャの構造的類似性を活用し,優れたアーキテクチャ表現を得る。
  論文  参考訳（メタデータ） (2021-03-15T06:30:36Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。