論文の概要: Impacts of Darwinian Evolution on Pre-trained Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2408.05563v1
• Date: Sat, 10 Aug 2024 14:08:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 18:21:45.952103
• Title: Impacts of Darwinian Evolution on Pre-trained Deep Neural Networks
• Title（参考訳）: ダーウィン進化が事前学習されたディープニューラルネットワークに及ぼす影響
• Authors: Guodong Du, Runhua Jiang, Senqiao Yang, Haoyang Li, Wei Chen, Keren Li, Sim Kuan Goh, Ho-Kin Tang,
• Abstract要約: 本研究では進化論に基づくニューラルネットワーク最適化フレームワークを提案する。 ダーウィン進化とニューラルネットワーク最適化の関係を調べる実験を行った。 提案するフレームワークはネットワークに肯定的な影響を与える。
• 参考スコア（独自算出の注目度）: 12.847052918757768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Darwinian evolution of the biological brain is documented through multiple lines of evidence, although the modes of evolutionary changes remain unclear. Drawing inspiration from the evolved neural systems (e.g., visual cortex), deep learning models have demonstrated superior performance in visual tasks, among others. While the success of training deep neural networks has been relying on back-propagation (BP) and its variants to learn representations from data, BP does not incorporate the evolutionary processes that govern biological neural systems. This work proposes a neural network optimization framework based on evolutionary theory. Specifically, BP-trained deep neural networks for visual recognition tasks obtained from the ending epochs are considered the primordial ancestors (initial population). Subsequently, the population evolved with differential evolution. Extensive experiments are carried out to examine the relationships between Darwinian evolution and neural network optimization, including the correspondence between datasets, environment, models, and living species. The empirical results show that the proposed framework has positive impacts on the network, with reduced over-fitting and an order of magnitude lower time complexity compared to BP. Moreover, the experiments show that the proposed framework performs well on deep neural networks and big datasets.
• Abstract（参考訳）: 生物学的脳のダーウィン進化は、進化的変化の様相ははっきりしないが、複数の証拠によって記録されている。 進化した神経系(例えば視覚野)からインスピレーションを得たディープラーニングモデルは、視覚タスクにおいて優れたパフォーマンスを示してきた。 深層ニューラルネットワークのトレーニングの成功は、データから表現を学ぶためにバックプロパゲーション(BP)とその変種に依存しているが、BPは生物学的ニューラルネットワークを管理する進化過程を取り入れていない。 本研究では進化論に基づくニューラルネットワーク最適化フレームワークを提案する。 特に、終末のエポックから得られる視覚認識タスクのためのBP訓練深層ニューラルネットワークは、原始的祖先(初期集団)であると考えられている。 その後、人口は異なった進化を遂げた。 ダーウィンの進化とニューラルネットワークの最適化の関係について、データセット、環境、モデル、生物種の対応など、広範囲にわたる実験を行った。 実験の結果,提案フレームワークはネットワークに肯定的な影響を与え,オーバーフィットを低減し,BPに比べて時間的複雑性を極端に低減した。 さらに,実験の結果,提案フレームワークはディープニューラルネットワークやビッグデータ上でも良好に動作することがわかった。

関連論文リスト

• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural Echos: Depthwise Convolutional Filters Replicate Biological Receptive Fields [56.69755544814834]
  哺乳類網膜で観察される生体受容野を,深部核が効果的に複製していることを示す証拠を提示する。 生体受容の分野からインスピレーションを得る手法を提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:06:22Z)
• Dive into the Power of Neuronal Heterogeneity [8.6837371869842]
  進化戦略(ES)を用いて、スパイキングニューラルネットワーク(SNN)を最適化し、ランダムネットワークにおける異種ニューロンのより堅牢な最適化を実現するためのバックプロパゲーションベースの手法が直面する課題を示す。 膜時間定数は神経異質性において重要な役割を担っており、その分布は生物学的実験で観察されたものと類似している。
  論文  参考訳（メタデータ） (2023-05-19T07:32:29Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• Sparse Mutation Decompositions: Fine Tuning Deep Neural Networks with Subspace Evolution [0.0]
  進化戦略と呼ばれる、神経進化的手法の一般的なサブクラスは、ネットワークを変異させるために高密度ノイズ摂動に依存している。 低次元部分空間に高密度な突然変異を分解することでこの問題を緩和するアプローチを導入する。 我々は、非常に難しいImageNetデータセット上で、神経進化的微調整とアンサンブルを初めて大規模に探索する。
  論文  参考訳（メタデータ） (2023-02-12T01:27:26Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Understanding Convolutional Neural Networks from Theoretical Perspective via Volterra Convolution [22.058311878382142]
  本研究では,畳み込みニューラルネットワークと有限Volterra畳み込みの関係について検討する。 複雑なネットワークアーキテクチャに邪魔されることなく、ニューラルネットワークの全体的な特性を説明し、研究するための新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2021-10-19T12:07:46Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。