論文の概要: Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2307.15621v1
• Date: Fri, 28 Jul 2023 15:29:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 12:14:08.247037
• Title: Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search
• Title（参考訳）: Shrink-Perturbはニューラルアーキテクチャ検索のための人口ベーストレーニング中のアーキテクチャ混合を改善する
• Authors: Alexander Chebykin, Arkadiy Dushatskiy, Tanja Alderliesten, Peter A. N. Bosman
• Abstract要約: ニューラルネットワークを同時にトレーニングし、混合することは、ニューラルネットワークサーチ(NAS)を実行するための有望な方法であることを示す。 PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we show that simultaneously training and mixing neural networks is a promising way to conduct Neural Architecture Search (NAS). For hyperparameter optimization, reusing the partially trained weights allows for efficient search, as was previously demonstrated by the Population Based Training (PBT) algorithm. We propose PBT-NAS, an adaptation of PBT to NAS where architectures are improved during training by replacing poorly-performing networks in a population with the result of mixing well-performing ones and inheriting the weights using the shrink-perturb technique. After PBT-NAS terminates, the created networks can be directly used without retraining. PBT-NAS is highly parallelizable and effective: on challenging tasks (image generation and reinforcement learning) PBT-NAS achieves superior performance compared to baselines (random search and mutation-based PBT).
• Abstract（参考訳）: 本研究では,ニューラルネットワークの同時学習と混合が,ニューラルネットワーク探索(NAS)を実現する上で有望な方法であることを示す。 ハイパーパラメータ最適化のために、部分的にトレーニングされた重みを再利用することで、以前PBTアルゴリズムで実証されたように、効率的な探索が可能になる。 PBT-NAS は PBT-NAS をNAS に適応させる手法であり,低性能なネットワークを個体群で置き換えることでアーキテクチャを改良し,良好な性能のネットワークを混合し,縮小パーターブ法を用いて重みを継承する手法を提案する。 PBT-NASが終了すると、ネットワークは再トレーニングなしで直接使用できる。 PBT-NASは、課題(画像生成と強化学習)において、ベースライン(ランダム検索と突然変異に基づくPBT)よりも優れた性能を達成する。

関連論文リスト

• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Doing More by Doing Less: How Structured Partial Backpropagation Improves Deep Learning Clusters [9.17259958324486]
  ディープラーニングモデルのトレーニングは、リソース集約的で、重要な計算、メモリ、ネットワークリソースを消費する。 本研究では,分散トレーニングにおける個々の作業者のバックプロパゲーション量を制御する手法である構造化部分バックプロパゲーション(SPB)を提案する。 JigSawは,大規模クラスタの効率を最大28%向上できることがわかった。
  論文  参考訳（メタデータ） (2021-11-20T20:34:26Z)
• Faster Improvement Rate Population Based Training [7.661301899629696]
  本稿では、人口ベーストレーニング(PBT)の問題に対処する高速改善率PBT(FIRE PBT)を提案する。 我々は、新しいフィットネス指標を導き、それを使って、一部の人口構成員が長期的なパフォーマンスに集中できるようにします。 実験の結果、FIRE PBTはImageNetベンチマークでPBTより優れており、手動学習率のスケジュールでトレーニングされたネットワークの性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2021-09-28T15:30:55Z)
• BN-NAS: Neural Architecture Search with Batch Normalization [116.47802796784386]
  本稿では,Batch Normalization(BN-NAS)を用いたニューラルアーキテクチャサーチ(BN-NAS)を提案し,ニューラルアーキテクチャサーチ(NAS)を高速化する。 BN-NASはNASにおけるモデルトレーニングと評価に必要な時間を著しく短縮することができる。
  論文  参考訳（メタデータ） (2021-08-16T23:23:21Z)
• EPE-NAS: Efficient Performance Estimation Without Training for Neural Architecture Search [1.1470070927586016]
  ネットワーク評価の問題を緩和する効率的な性能評価戦略であるEPE-NASを提案する。 EPE-NASは堅牢な相関を生成することができ、単純なランダムサンプリング戦略に組み込むことで、単一のGPUを使用して数秒でトレーニングを必要とせず、競争力のあるネットワークを検索できることを示しています。
  論文  参考訳（メタデータ） (2021-02-16T11:47:05Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Regularized Evolutionary Population-Based Training [11.624954122221562]
  本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。 EPBTは画像分類ベンチマークを高速かつ正確に学習する。
  論文  参考訳（メタデータ） (2020-02-11T06:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。