論文の概要: Differential Evolution-based Neural Network Training Incorporating a Centroid-based Strategy and Dynamic Opposition-based Learning

• arxiv url: http://arxiv.org/abs/2106.15392v1
• Date: Tue, 29 Jun 2021 13:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 19:32:11.341549
• Title: Differential Evolution-based Neural Network Training Incorporating a Centroid-based Strategy and Dynamic Opposition-based Learning
• Title（参考訳）: 遠心に基づく戦略と動的対向学習を併用した差動進化型ニューラルネットワークトレーニング
• Authors: Seyed Jalaleddin Mousavirad, Diego Oliva, Salvador Hinojosa and Gerald Schaefer
• Abstract要約: 人口ベースメタヒューリスティックアルゴリズムは、局所最適化で立ち往生するなどの欠点を克服するために使用できる。 CenDE-DOBLは、微分進化(DE)、セントロイドベースの戦略(Cen-S)、動的反対ベース学習(DOBL)に基づく。
• 参考スコア（独自算出の注目度）: 13.458005525590785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training multi-layer neural networks (MLNNs), a challenging task, involves finding appropriate weights and biases. MLNN training is important since the performance of MLNNs is mainly dependent on these network parameters. However, conventional algorithms such as gradient-based methods, while extensively used for MLNN training, suffer from drawbacks such as a tendency to getting stuck in local optima. Population-based metaheuristic algorithms can be used to overcome these problems. In this paper, we propose a novel MLNN training algorithm, CenDE-DOBL, that is based on differential evolution (DE), a centroid-based strategy (Cen-S), and dynamic opposition-based learning (DOBL). The Cen-S approach employs the centroid of the best individuals as a member of population, while other members are updated using standard crossover and mutation operators. This improves exploitation since the new member is obtained based on the best individuals, while the employed DOBL strategy, which uses the opposite of an individual, leads to enhanced exploration. Our extensive experiments compare CenDE-DOBL to 26 conventional and population-based algorithms and confirm it to provide excellent MLNN training performance.
• Abstract（参考訳）: 困難なタスクであるマルチレイヤニューラルネットワーク(MLNN)のトレーニングには、適切な重み付けとバイアスを見つけることが含まれる。 MLNNのパフォーマンスは主にこれらのネットワークパラメータに依存するため、MLNNのトレーニングは重要である。 しかし、勾配法のような従来のアルゴリズムは、MLNNの訓練に広く使われているが、局所的な最適化で立ち往生する傾向などの欠点に悩まされている。 人口ベースメタヒューリスティックアルゴリズムはこれらの問題を克服するために利用できる。 本稿では,ディファレンシャル進化(DE),セントロイド型戦略(Cen-S),動的反対型学習(DOBL)に基づくMLNNトレーニングアルゴリズムCenDE-DOBLを提案する。 cen-sのアプローチは、最良個体のセントロイドを人口構成員として採用し、他のメンバーは標準クロスオーバーと突然変異演算子を用いて更新される。 これは、新しいメンバーが最高の個人に基づいて獲得されるのに対して、雇用されたDOBL戦略は、個人と反対の戦略を用いて、探索の強化につながるため、搾取を改善する。 CenDE-DOBLを26の従来型および人口ベースのアルゴリズムと比較し,MLNNのトレーニング性能に優れることを確認した。

関連論文リスト

• Training-free Conversion of Pretrained ANNs to SNNs for Low-Power and High-Performance Applications [23.502136316777058]
  人工ニューラルネットワーク(ANN)の代替としてスパイキングニューラルネットワーク(SNN)が登場した SNNの既存の教師付き学習アルゴリズムは、ANNのアルゴリズムよりもはるかに多くのメモリと時間を必要とする。 提案手法は,事前学習したANNモデルを,追加訓練を伴わずに,高性能なSNNに変換する。
  論文  参考訳（メタデータ） (2024-09-05T09:14:44Z)
• A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers [8.343594411714934]
  屈曲した近位ニューラルネットワーク(PNN)は、深層学習と近位最適化のアプローチを組み合わせた一連の手法である。 展開されたPNNに対するBregman距離に基づく揚力トレーニングの定式化を提案する。 画像復調の数値シミュレーションにより,提案したPNNのトレーニング手法の挙動を評価する。
  論文  参考訳（メタデータ） (2024-08-16T13:41:34Z)
• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Selfish Sparse RNN Training [13.165729746380816]
  本稿では,1回のランでパラメータ数を固定したスパースRNNを,性能を損なうことなく訓練する手法を提案する。 我々はPenn TreeBankとWikitext-2の様々なデータセットを用いて最先端のスパーストレーニング結果を得る。
  論文  参考訳（メタデータ） (2021-01-22T10:45:40Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。