論文の概要: A Novel Training Protocol for Performance Predictors of Evolutionary Neural Architecture Search Algorithms

• arxiv url: http://arxiv.org/abs/2008.13187v2
• Date: Mon, 7 Sep 2020 06:22:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 12:03:30.915548
• Title: A Novel Training Protocol for Performance Predictors of Evolutionary Neural Architecture Search Algorithms
• Title（参考訳）: 進化的ニューラルネットワーク探索アルゴリズムの性能予測のための新しい学習プロトコル
• Authors: Yanan Sun and Xian Sun and Yuhan Fang and Gary Yen
• Abstract要約: 進化的ニューラルネットワーク探索(ENAS)は、進化的計算アルゴリズムを用いてディープニューラルネットワーク(DNN)のアーキテクチャを自動的に設計することができる。 性能予測器は、計算資源を多く必要とせず、探索を補助できる回帰モデルの一種である。 本稿では,これらの課題に対処する新たなトレーニングプロトコルを提案する。トレーニングターゲットを構築するためのペアワイズランキングインジケータを設計し,ロジスティック回帰を用いてトレーニングサンプルに適合させ,トレーニングインスタンスを構築するための差分法を開発することを提案する。
• 参考スコア（独自算出の注目度）: 10.658358586764171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evolutionary Neural Architecture Search (ENAS) can automatically design the architectures of Deep Neural Networks (DNNs) using evolutionary computation algorithms. However, most ENAS algorithms require intensive computational resource, which is not necessarily available to the users interested. Performance predictors are a type of regression models which can assist to accomplish the search, while without exerting much computational resource. Despite various performance predictors have been designed, they employ the same training protocol to build the regression models: 1) sampling a set of DNNs with performance as the training dataset, 2) training the model with the mean square error criterion, and 3) predicting the performance of DNNs newly generated during the ENAS. In this paper, we point out that the three steps constituting the training protocol are not well though-out through intuitive and illustrative examples. Furthermore, we propose a new training protocol to address these issues, consisting of designing a pairwise ranking indicator to construct the training target, proposing to use the logistic regression to fit the training samples, and developing a differential method to building the training instances. To verify the effectiveness of the proposed training protocol, four widely used regression models in the field of machine learning have been chosen to perform the comparisons on two benchmark datasets. The experimental results of all the comparisons demonstrate that the proposed training protocol can significantly improve the performance prediction accuracy against the traditional training protocols.
• Abstract（参考訳）: evolution neural architecture search (enas) は、進化的計算アルゴリズムを用いてディープニューラルネットワーク(dnn)のアーキテクチャを自動的に設計することができる。 しかし、ほとんどのENASアルゴリズムは集約的な計算資源を必要とするため、興味のあるユーザーには必ずしも利用できない。 パフォーマンス予測は、多くの計算資源を行使することなく、探索を達成するのに役立つ回帰モデルの一種である。 様々なパフォーマンス予測器が設計されているが、回帰モデルを構築するために同じトレーニングプロトコルを使用している。 1)トレーニングデータセットとしてパフォーマンスを備えたDNNの集合をサンプリングする。 2)平均二乗誤差基準でモデルを訓練し、 3) ENAS中に新たに生成されたDNNの性能を予測する。 本稿では,トレーニングプロトコルを構成する3つのステップが,直観的かつ図解的な例を通してうまく機能していないことを指摘する。 さらに,これらの問題に対処する新たなトレーニングプロトコルを提案する。トレーニングターゲットを構築するためのペアワイズランキングインジケータを設計し,ロジスティック回帰を用いてトレーニングサンプルに適合させ,トレーニングインスタンスを構築するための差分手法を開発することを提案する。 提案手法の有効性を検証するため,2つのベンチマークデータセットの比較を行うため,機械学習分野において広く用いられている4つの回帰モデルが選択された。 比較実験の結果,提案したトレーニングプロトコルは従来のトレーニングプロトコルと比較して性能予測精度を大幅に向上できることが示された。

関連論文リスト

• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Large Deviations for Accelerating Neural Networks Training [5.864710987890994]
  LAD改良反復訓練(LIIT)は,大規模な逸脱原理を用いたANNのための新しい訓練手法である。 LIITアプローチでは、LAD異常スコアに基づくサンプリング戦略を用いて、MTS(Modified Training Sample)を生成し、反復的に更新する。 MTSサンプルは、各クラスにおける観察のほとんどを異常に含めることで、トレーニングデータをうまく表現するように設計されている。
  論文  参考訳（メタデータ） (2023-03-02T04:14:05Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• The training accuracy of two-layer neural networks: its estimation and understanding using random datasets [0.0]
  本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。 提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
  論文  参考訳（メタデータ） (2020-10-26T07:21:29Z)
• A Novel DNN Training Framework via Data Sampling and Multi-Task Optimization [7.001799696806368]
  DNNモデルをトレーニングするための新しいフレームワークを提案する。 ランダムスプリッティングにより、総合的なトレーニングセットから複数のトレーニングセットと検証セットを生成する。 トレーニングされたすべてのモデルの中で最高のパフォーマンスを出力し、すべてのペアから検証セット全体で全体の最高のパフォーマンスを出力します。
  論文  参考訳（メタデータ） (2020-07-02T10:58:57Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。