論文の概要: Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2003.11613v1
• Date: Sat, 7 Mar 2020 12:33:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:21:15.764429
• Title: Sampled Training and Node Inheritance for Fast Evolutionary Neural Architecture Search
• Title（参考訳）: 高速進化的ニューラルネットワーク探索のためのサンプル学習とノード継承
• Authors: Haoyu Zhang, Yaochu Jin, Ran Cheng, and Kuangrong Hao
• Abstract要約: 進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。 本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。 提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
• 参考スコア（独自算出の注目度）: 22.483917379706725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of a deep neural network is heavily dependent on its architecture and various neural architecture search strategies have been developed for automated network architecture design. Recently, evolutionary neural architecture search (ENAS) has received increasing attention due to the attractive global optimization capability of evolutionary algorithms. However, ENAS suffers from extremely high computation costs because a large number of performance evaluations is usually required in evolutionary optimization and training deep neural networks is itself computationally very intensive. To address this issue, this paper proposes a new evolutionary framework for fast ENAS based on directed acyclic graph, in which parents are randomly sampled and trained on each mini-batch of training data. In addition, a node inheritance strategy is adopted to generate offspring individuals and their fitness is directly evaluated without training. To enhance the feature processing capability of the evolved neural networks, we also encode a channel attention mechanism in the search space. We evaluate the proposed algorithm on the widely used datasets, in comparison with 26 state-of-the-art peer algorithms. Our experimental results show the proposed algorithm is not only computationally much more efficiently, but also highly competitive in learning performance.
• Abstract（参考訳）: ディープニューラルネットワークの性能はそのアーキテクチャに大きく依存しており、ネットワークアーキテクチャの自動設計のために様々なニューラルネットワーク探索戦略が開発されている。 近年,進化的ニューラルアーキテクチャ探索(ENAS)が注目されている。 しかしENASは、進化的最適化や深層ニューラルネットワークのトレーニングにおいて、多くの性能評価を必要とするため、非常に高い計算コストに悩まされている。 そこで本研究では,親がランダムに標本化され,各ミニバッチで訓練される有向非巡回グラフに基づく高速enasのための新しい進化フレームワークを提案する。 さらに、子孫を生成するためにノード継承戦略を採用し、その適合性をトレーニングなしで直接評価する。 進化したニューラルネットワークの特徴処理能力を高めるために,探索空間におけるチャネルアテンション機構を符号化する。 提案アルゴリズムは,26の最先端ピアアルゴリズムと比較し,広く利用されているデータセット上で評価する。 実験の結果,提案アルゴリズムは計算効率が向上するだけでなく,学習性能の競争力も高いことがわかった。

関連論文リスト

• An automatic selection of optimal recurrent neural network architecture for processes dynamics modelling purposes [0.0]
  この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。 アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。 この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
  論文  参考訳（メタデータ） (2023-09-25T11:06:35Z)
• Neuroevolution of Recurrent Architectures on Control Tasks [3.04585143845864]
  並列に並列な進化的アルゴリズムを実装し、19のOpenAI Gym状態に基づく強化学習制御タスクで実験を行う。 動的エージェントは, パラメータの桁数を桁違いに減らしながら, 勾配に基づくエージェントの性能に適合するか, 上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T16:29:18Z)
• SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
  畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。 テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T14:27:34Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• On the performance of deep learning for numerical optimization: an application to protein structure prediction [0.0]
  本稿では,グローバルな最適化問題に対処するディープラーニングモデルの性能について述べる。 提案手法は、効率的なニューラルネットワークを生成するために、NAS(Neural Architecture Search)の概念を採用する。 実験により、手書きのアルゴリズムと比較して、生成された学習モデルが競合する結果が得られることが明らかになった。
  論文  参考訳（メタデータ） (2020-12-17T17:01:30Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。