論文の概要: NeuroLGP-SM: A Surrogate-assisted Neuroevolution Approach using Linear Genetic Programming

• arxiv url: http://arxiv.org/abs/2403.19459v1
• Date: Thu, 28 Mar 2024 14:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 15:54:24.452255
• Title: NeuroLGP-SM: A Surrogate-assisted Neuroevolution Approach using Linear Genetic Programming
• Title（参考訳）: NeuroLGP-SM:線形遺伝的プログラミングを用いた代理型神経進化アプローチ
• Authors: Fergal Stapleton, Brendan Cody-Kenny, Edgar Galván,
• Abstract要約: 我々はNeuroLGP-Surrogate Model(NeuroLGP-SM)と呼ばれるディープニューラルネットワーク(DNN)のトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 0.19116784879310028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evolutionary algorithms are increasingly recognised as a viable computational approach for the automated optimisation of deep neural networks (DNNs) within artificial intelligence. This method extends to the training of DNNs, an approach known as neuroevolution. However, neuroevolution is an inherently resource-intensive process, with certain studies reporting the consumption of thousands of GPU days for refining and training a single DNN network. To address the computational challenges associated with neuroevolution while still attaining good DNN accuracy, surrogate models emerge as a pragmatic solution. Despite their potential, the integration of surrogate models into neuroevolution is still in its early stages, hindered by factors such as the effective use of high-dimensional data and the representation employed in neuroevolution. In this context, we address these challenges by employing a suitable representation based on Linear Genetic Programming, denoted as NeuroLGP, and leveraging Kriging Partial Least Squares. The amalgamation of these two techniques culminates in our proposed methodology known as the NeuroLGP-Surrogate Model (NeuroLGP-SM). For comparison purposes, we also code and use a baseline approach incorporating a repair mechanism, a common practice in neuroevolution. Notably, the baseline approach surpasses the renowned VGG-16 model in accuracy. Given the computational intensity inherent in DNN operations, a singular run is typically the norm. To evaluate the efficacy of our proposed approach, we conducted 96 independent runs. Significantly, our methodologies consistently outperform the baseline, with the SM model demonstrating superior accuracy or comparable results to the NeuroLGP approach. Noteworthy is the additional advantage that the SM approach exhibits a 25% reduction in computational requirements, further emphasising its efficiency for neuroevolution.
• Abstract（参考訳）: 進化的アルゴリズムは、人工知能内でのディープニューラルネットワーク(DNN)の自動最適化のための実行可能な計算手法として、ますます認識されている。 この方法は、神経進化として知られるアプローチであるDNNの訓練にまで拡張される。 しかし、神経進化は本質的に資源集約的なプロセスであり、ある研究では単一のDNNネットワークを精錬し、訓練するために数千のGPU日を消費していると報告している。 優れたDNN精度を保ちながら、神経進化に関連する計算課題に対処するために、サロゲートモデルは実用的な解として現れる。 その可能性にもかかわらず、代理モデルの神経進化への統合はまだ初期段階にあり、高次元データの有効利用や神経進化における表現などの要因によって妨げられている。 この文脈では、線形遺伝的プログラミングに基づく適切な表現をNeuroLGPと表現し、Kriging partial Least Squaresを活用することで、これらの課題に対処する。 提案手法はNeuroLGP-Surrogate Model(NeuroLGP-SM)と呼ばれる。 比較のために、神経進化の一般的な実践である修復機構を組み込んだベースラインアプローチをコーディングし、使用する。 特に、ベースラインアプローチは、有名なVGG-16モデルを精度で上回る。 DNN演算に固有の計算強度を考えると、特異ランは典型的にはノルムである。 提案手法の有効性を評価するため,96回の独立走行を行った。 SMモデルはNeuroLGP法と同等の精度または同等の結果を示した。 注目すべきは、SMアプローチが計算要求を25%削減し、神経進化の効率性を強調している点である。

関連論文リスト

• Enhancing learning in artificial neural networks through cellular heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• NeuroLGP-SM: Scalable Surrogate-Assisted Neuroevolution for Deep Neural Networks [0.0]
  進化的アルゴリズムは、人工深層ニューラルネットワーク(DNN)のアーキテクチャ構成とトレーニングにおいて重要な役割を果たす 本研究では, DNNから出力される表現型距離ベクトルと, Kriging partial Least Squares (KPLS) を用いて探索する。 提案手法はニューロLinear Genetic Programming surrogate model (NeuroLGP-SM) と名付けられ, 完全評価を必要とせず, DNNの適合性を効率的に正確に推定する。
  論文  参考訳（メタデータ） (2024-04-12T19:15:38Z)
• AD-NEv++ : The multi-architecture neuroevolution-based multivariate anomaly detection framework [0.794682109939797]
  異常検出ツールと方法は、現代のサイバー物理およびセンサーベースのシステムにおいて重要な分析機能を可能にする。 我々は,サブスペース進化,モデル進化,微調整を相乗的に組み合わせた3段階の神経進化に基づくAD-NEv++を提案する。 我々は、AD-NEv++が全ての異常検出ベンチマークにおいて最先端のGNN(Graph Neural Networks)モデルアーキテクチャを改善し、性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-03-25T08:40:58Z)
• Astrocyte-Integrated Dynamic Function Exchange in Spiking Neural Networks [0.0]
  本稿では,スパイキングニューラルネットワーク(SNN)の堅牢性と計算効率を向上させるための革新的な手法を提案する。 提案手法はヒト脳に広く分布するグリア細胞であるアストロサイトをSNNに統合し、アストロサイトを増強したネットワークを形成する。 特に、アストロサイトを拡張したSNNは、ほぼゼロのレイテンシと理論上無限のスループットを示し、計算効率が極めて高いことを示唆している。
  論文  参考訳（メタデータ） (2023-09-15T08:02:29Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Initial Steps Towards Tackling High-dimensional Surrogate Modeling for Neuroevolution Using Kriging Partial Least Squares [0.0]
  サロゲート支援進化アルゴリズム(SAEA)は、進化計算システムにおける適合関数の近似を目的とし、効率的な計算モデルを使用することを目的としている。 SAEAsコミュニティからほとんど注目を集めていない、創発的でエキサイティングな領域は、神経進化にある。 近似代理モデルの効率的な計算を可能にするKriging partial Least Squares法をどう利用できるかを示す。
  論文  参考訳（メタデータ） (2023-05-05T15:17:03Z)
• Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming [129.4950757742912]
  ニューラルモデル再プログラミング(NMR)の概念に基づく低リソース(音楽)分類のための事前学習モデルを活用する新しい手法を提案する。 NMRは、凍結した事前学習モデルの入力を変更することにより、ソースドメインからターゲットドメインへの事前学習モデルの再取得を目指している。 実験結果から,大規模データセットに事前学習したニューラルモデルは,この再プログラミング手法を用いて,音楽ジャンルの分類に成功できることが示唆された。
  論文  参考訳（メタデータ） (2022-11-02T17:38:33Z)
• SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network [12.237928453571636]
  スパイキングニューラルネットワーク(SNN)は、時間的情報処理能力と消費電力の低さから、研究者の関心を喚起している。 現在の最先端の手法は、ニューロンが単純な Leaky-Integrate-and-Fire (LIF) モデルに基づいて構築されているため、生物学的な可視性と性能を制限している。 高レベルの動的複雑さのため、現代のニューロンモデルがSNNの実践で実装されることはめったにない。
  論文  参考訳（メタデータ） (2022-03-30T07:50:44Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Neuro-symbolic Neurodegenerative Disease Modeling as Probabilistic Programmed Deep Kernels [93.58854458951431]
  本稿では、神経変性疾患のパーソナライズされた予測モデリングのための、確率的プログラムによる深層カーネル学習手法を提案する。 我々の分析は、ニューラルネットワークとシンボリック機械学習のアプローチのスペクトルを考慮する。 我々は、アルツハイマー病の予測問題について評価を行い、深層学習を超越した結果を得た。
  論文  参考訳（メタデータ） (2020-09-16T15:16:03Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。