論文の概要: Optimizing Deep Neural Networks through Neuroevolution with Stochastic Gradient Descent

• arxiv url: http://arxiv.org/abs/2012.11184v1
• Date: Mon, 21 Dec 2020 08:54:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 06:34:33.171909
• Title: Optimizing Deep Neural Networks through Neuroevolution with Stochastic Gradient Descent
• Title（参考訳）: 確率勾配Descentを用いた神経進化によるディープニューラルネットワークの最適化
• Authors: Haichao Zhang, Kuangrong Hao, Lei Gao, Bing Wei, Xuesong Tang
• Abstract要約: 深部ニューラルネットワーク(DNN)の訓練における勾配降下(SGD)は優勢である 神経進化は進化過程に沿っており、しばしばSGDでは利用できない重要な機能を提供している。 個体群の多様性を改善するために,個体間の重み更新を克服する階層型クラスタ型抑制アルゴリズムも開発されている。
• 参考スコア（独自算出の注目度）: 18.70093247050813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable success in computer vision; however, training DNNs for satisfactory performance remains challenging and suffers from sensitivity to empirical selections of an optimization algorithm for training. Stochastic gradient descent (SGD) is dominant in training a DNN by adjusting neural network weights to minimize the DNNs loss function. As an alternative approach, neuroevolution is more in line with an evolutionary process and provides some key capabilities that are often unavailable in SGD, such as the heuristic black-box search strategy based on individual collaboration in neuroevolution. This paper proposes a novel approach that combines the merits of both neuroevolution and SGD, enabling evolutionary search, parallel exploration, and an effective probe for optimal DNNs. A hierarchical cluster-based suppression algorithm is also developed to overcome similar weight updates among individuals for improving population diversity. We implement the proposed approach in four representative DNNs based on four publicly-available datasets. Experiment results demonstrate that the four DNNs optimized by the proposed approach all outperform corresponding ones optimized by only SGD on all datasets. The performance of DNNs optimized by the proposed approach also outperforms state-of-the-art deep networks. This work also presents a meaningful attempt for pursuing artificial general intelligence.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)はコンピュータビジョンにおいて顕著な成功を収めているが、良好なパフォーマンスのためにDNNをトレーニングすることは依然として困難であり、トレーニングのための最適化アルゴリズムの実験的選択に対する感受性に悩まされている。 確率勾配降下(SGD)は、DNNの損失関数を最小限に抑えるためにニューラルネットワークの重みを調整することでDNNのトレーニングにおいて支配的である。 代替のアプローチとして、神経進化は進化過程に沿っており、神経進化における個々の協調に基づくヒューリスティックなブラックボックス探索戦略など、SGDでは利用できない重要な機能を提供している。 本稿では,神経進化とsgdの利点を融合し,進化的探索,並列探索,最適dnnのための効果的なプローブを実現する新しいアプローチを提案する。 個体群の多様性を改善するために,個体間の重み更新を克服する階層型クラスタ型抑制アルゴリズムも開発されている。 提案手法は、4つの公開データセットに基づいて4つの代表DNNに実装する。 実験の結果,提案手法により最適化された4つのDNNは,すべてのデータセット上でSGDのみによって最適化されたものよりも優れていた。 提案手法により最適化されたDNNの性能も最先端のディープネットワークより優れている。 この研究は、人工知能の追求にも意味のある試みである。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
  スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する 本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
  論文  参考訳（メタデータ） (2024-05-06T09:58:54Z)
• Adversarially Robust Spiking Neural Networks Through Conversion [16.2319630026996]
  スパイキングニューラルネットワーク(SNN)は、さまざまな人工知能ニューラルネットワーク(ANN)ベースのAIアプリケーションに対して、エネルギー効率のよい代替手段を提供する。 SNNによるニューロモルフィックコンピューティングの進歩がアプリケーションでの利用を拡大するにつれ、SNNの対角的堅牢性の問題はより顕著になる。
  論文  参考訳（メタデータ） (2023-11-15T08:33:46Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Optimising Event-Driven Spiking Neural Network with Regularisation and Cutoff [33.91830001268308]
  スパイキングニューラルネットワーク(SNN)は、計算効率を有望に改善する。 現在のSNNトレーニング手法は、主に固定時間ステップアプローチを採用している。 本稿では,効率的な推論を実現するために,推論中にいつでもSNNを終了できるSNNの遮断を検討することを提案する。
  論文  参考訳（メタデータ） (2023-01-23T16:14:09Z)
• Neuron Coverage-Guided Domain Generalization [37.77033512313927]
  本稿では、ドメイン知識が利用できないドメイン一般化タスクに注目し、さらに悪いことに、1つのドメインからのサンプルのみをトレーニング中に利用することができる。 私たちの動機は、ディープニューラルネットワーク(DNN)テストの最近の進歩に由来し、DNNのニューロンカバレッジの最大化がDNNの潜在的な欠陥の探索に役立つことが示されています。
  論文  参考訳（メタデータ） (2021-02-27T14:26:53Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)
• Genetic Algorithmic Parameter Optimisation of a Recurrent Spiking Neural Network Model [0.6767885381740951]
  我々は遺伝的アルゴリズム(GA)を用いて繰り返しスパイクニューラルネットワーク(SNN)の最適パラメータを探索する。 我々は,1000個のIzhikevich刺激ニューロンからなる皮質列型SNNを計算効率と生物学的リアリズムのために検討した。 その結果, GAの最適個体数は16～20人以内であり, クロスオーバー率は0.95であった。
  論文  参考訳（メタデータ） (2020-03-30T22:44:04Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。