論文の概要: A Study of Hybrid and Evolutionary Metaheuristics for Single Hidden Layer Feedforward Neural Network Architecture

• arxiv url: http://arxiv.org/abs/2506.15737v1
• Date: Tue, 17 Jun 2025 04:12:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.747164
• Title: A Study of Hybrid and Evolutionary Metaheuristics for Single Hidden Layer Feedforward Neural Network Architecture
• Title（参考訳）: 単一隠れ層フィードフォワードニューラルネットワークアーキテクチャのためのハイブリッドメタヒューリスティクスと進化的メタヒューリスティクスに関する研究
• Authors: Gautam Siddharth Kashyap, Md Tabrez Nafis, Samar Wazir,
• Abstract要約: SGD(Gradient Descent)を用いた人工ニューラルネットワーク(ANN)のトレーニングは、しばしば困難に遭遇する。 本研究では,Particle Swarm Optimization (PSO) と遺伝的アルゴリズム (GA) について検討する。 局所探索効率を向上させるためにハイブリッドPSO-SGD戦略を開発した。
• 参考スコア（独自算出の注目度）: 1.024113475677323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Artificial Neural Networks (ANNs) with Stochastic Gradient Descent (SGD) frequently encounters difficulties, including substantial computing expense and the risk of converging to local optima, attributable to its dependence on partial weight gradients. Therefore, this work investigates Particle Swarm Optimization (PSO) and Genetic Algorithms (GAs) - two population-based Metaheuristic Optimizers (MHOs) - as alternatives to SGD to mitigate these constraints. A hybrid PSO-SGD strategy is developed to improve local search efficiency. The findings indicate that the hybrid PSO-SGD technique decreases the median training MSE by 90 to 95 percent relative to conventional GA and PSO across various network sizes (e.g., from around 0.02 to approximately 0.001 in the Sphere function). RMHC attains substantial enhancements, reducing MSE by roughly 85 to 90 percent compared to GA. Simultaneously, RS consistently exhibits errors exceeding 0.3, signifying subpar performance. These findings underscore that hybrid and evolutionary procedures significantly improve training efficiency and accuracy compared to conventional optimization methods and imply that the Building Block Hypothesis (BBH) may still be valid, indicating that advantageous weight structures are retained during evolutionary search.
• Abstract（参考訳）: SGD(Stochastic Gradient Descent)を用いた人工ニューラルネットワーク(ANN)のトレーニングは、かなりの計算コストや局所最適に収束するリスクなど、その部分重み勾配への依存に起因する問題に頻繁に遭遇する。 そこで本研究では,これらの制約を緩和するために,SGDの代替として,PSO(Particle Swarm Optimization)とGA(Genematic Algorithms)を2つの集団ベースメタヒューリスティック・オプティマイザ(Metaheuristic Optimizers, MHO)として検討する。 局所探索効率を向上させるためにハイブリッドPSO-SGD戦略を開発した。 その結果,ハイブリッドPSO-SGD法は,従来のGAとPSOのネットワークサイズ(例えば,Sphere関数の0.02～0.001程度)に対して,中央値トレーニングMSEを90～95%減少させることがわかった。 RMHCは、GAと比較してMSEを約85～90%削減するなど、大幅に改善されている。 同時にRSは0.3を超える誤差を常に示し、サブパー性能を示す。 これらの結果は,従来の最適化手法と比較して,ハイブリッドおよび進化的手順がトレーニング効率と精度を著しく向上すること,およびビルディングブロック仮説(BBH)が依然として有効であることを示唆し,進化探索において有利な重み構造が維持されていることを示唆している。

関連論文リスト

• Integrating Complexity and Biological Realism: High-Performance Spiking Neural Networks for Breast Cancer Detection [0.0]
  スパイキングニューラルネットワーク(SNN)は、空間的特徴と時間的特徴の効率的な符号化を可能にする。 SNNは、従来のディープラーニングモデルの性能の一致が困難であるため、医療画像認識に限定的に適用されている。 本稿では,SNNとLempel-Ziv Complexity(LZC)を組み合わせた新しい乳がん分類手法を提案する。
  論文  参考訳（メタデータ） (2025-06-06T17:47:27Z)
• PSO-UNet: Particle Swarm-Optimized U-Net Framework for Precise Multimodal Brain Tumor Segmentation [0.0]
  本研究では,粒子群最適化(PSO)と動的ハイパーパラメータ最適化のためのU-Netアーキテクチャを統合したPSO-UNetを提案する。 PSO-UNet はセグメント化性能を大幅に向上させ、BraTS 2021 と Figshare のデータセットでそれぞれ 0.9578 と 0.9523 のDice similarity Coefficients (DSC) を達成する。 この手法は計算の複雑さを大幅に減らし、7.8百万のパラメータしか利用せず、約906秒で実行される。
  論文  参考訳（メタデータ） (2025-03-24T21:14:08Z)
• Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks [0.0]
  本稿では,画像処理のための畳み込みニューラルネットワーク(CNN)へのヘビアン学習の統合について述べる。 ヘビアン学習は、局所的な教師なしの神経情報に基づいて特徴表現を形成する。 その結果, より複雑で受容的な領域を通じて, まばらな階層的学習の徴候がみられた。
  論文  参考訳（メタデータ） (2025-01-06T12:29:37Z)
• An Effective Networks Intrusion Detection Approach Based on Hybrid Harris Hawks and Multi-Layer Perceptron [47.81867479735455]
  本稿では,Harris Hawks Optimization (HHO) を用いた多層パーセプトロン学習のための侵入検知システムを提案する。 HHO-MLPは、ネットワークの侵入検出エラーを最小限に抑えるため、学習プロセスにおいて最適なパラメータを選択することを目的としている。 HHO-MLPは、93.17%の精度、95.41%の感度、95.41%の特異度でトップスコアを獲得することで、優れた性能を示した。
  論文  参考訳（メタデータ） (2024-02-21T06:25:50Z)
• Membrane Potential Distribution Adjustment and Parametric Surrogate Gradient in Spiking Neural Networks [3.485537704990941]
  この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。 パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。 実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
  論文  参考訳（メタデータ） (2023-04-26T05:02:41Z)
• Reinforced Genetic Algorithm for Structure-based Drug Design [38.134929249388406]
  SBDD(Structure-based drug design)は、疾患関連タンパク質(ターゲット)に結合する分子を見つけることにより、薬物候補を見つけることを目的とした薬物設計である。 本稿では,ニューラルネットワークを用いた遺伝的アルゴリズム(Reinforced Genetic Algorithm, RGA)を提案する。
  論文  参考訳（メタデータ） (2022-11-28T22:59:46Z)
• Dissecting adaptive methods in GANs [46.90376306847234]
  我々は、適応的手法がGAN(Generative Adversarial Network)の訓練にどう役立つかを検討する。 我々は,Adam更新の程度とSGDの正規化方向の更新ルールを考慮し,Adamの適応度がGANトレーニングの鍵であることを実証的に示す。 この設定では、nSGDAで訓練されたGANが真の分布のすべてのモードを回復するのに対し、SGDA(および学習率構成)で訓練された同じネットワークはモード崩壊に悩まされていることを証明している。
  論文  参考訳（メタデータ） (2022-10-09T19:00:07Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• Free-form Lesion Synthesis Using a Partial Convolution Generative Adversarial Network for Enhanced Deep Learning Liver Tumor Segmentation [3.3148826359547523]
  本研究の目的は,ネットワークトレーニングの強化に使用できる合成病変を生成するための深層学習フレームワークを開発することである。 病変合成ネットワークはGAN(Modified Generative Adversarial Network)である 判別器は、勾配ペナルティとスペクトル正規化を備えたワッサーシュタインGANを用いて設計されている。
  論文  参考訳（メタデータ） (2022-06-18T00:40:41Z)
• Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
  GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。 近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。 本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:13:45Z)
• Convergence Analysis of Homotopy-SGD for non-convex optimization [43.71213126039448]
  ホモトピー法とSGDを組み合わせた一階述語アルゴリズム、Gradienty-Stoch Descent (H-SGD)を提案する。 いくつかの仮定の下で、提案した問題の理論的解析を行う。 実験の結果,H-SGDはSGDより優れていた。
  論文  参考訳（メタデータ） (2020-11-20T09:50:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。