論文の概要: Genetic algorithm vs. gradient descent for training a neural network architecture dedicated to low data regimes in small medical datasets

• arxiv url: http://arxiv.org/abs/2605.27411v1
• Date: Wed, 13 May 2026 09:13:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 02:55:43.025044
• Title: Genetic algorithm vs. gradient descent for training a neural network architecture dedicated to low data regimes in small medical datasets
• Title（参考訳）: 小型医療データセットにおける低データレシエーションに特化したニューラルネットワークアーキテクチャの学習のための遺伝的アルゴリズムと勾配降下
• Authors: Amine Boukhari, Boglarka Ecsedi, Laszlo Papp, Mathieu Hatt,
• Abstract要約: 距離符号化型生体情報ニューラルネットワーク(DEBI-NN)は近年提案されているアーキテクチャである。 DEBI-NNのトレーニングプロセスは、勾配降下(GD)ではなく遺伝的アルゴリズム(GA)に基づいている
• 参考スコア（独自算出の注目度）: 1.3999481573773072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aim/Introduction: Distance-encoding biomorphic-informational neural network (DEBI-NN) is a recently proposed architecture in which connection weights are defined by the distances between neurons positioned in a Euclidian space. This approach drastically reduces the number of trainable parameters compared to classical neural networks in which weights are directly trained. The training process for DEBI-NN is based on a genetic algorithm (GA), rather than gradient descent (GD) which remains the prevailing optimization algorithm in deep learning. We aim to design and implement a GD learner for DEBI-NN and assess its performance compared to GA. Materials and Methods: We designed a spatial backpropagation scheme tailored to DEBI-NN and carried out a comparison between GD and GA for classification tasks, using a synthetic non-linear "two-moons" dataset, two clinical medical imaging radiomic datasets and a fetal cardiotocography dataset with a sample sizes ranging from n=85 to n=2126. Each optimizer was tuned through targeted hyperparameter searches adapted to each dataset. Results: Across all experiments, GA consistently produced superior decision boundaries and classification performance (Synthetic: 100% vs 83%; DLBCL: 83% vs 78%; HECKTOR: 80% vs 67%; Fetal: 81% vs 66%), whereas GD exhibited instability and failed to fully capture the non-linear patterns inherent to DEBI-NN's spatial encoding. The entangled gradients resulting from neuron interdependencies limit the effectiveness of classical backpropagation. Conclusion: These findings highlight fundamental limitations of gradient-based methods in architectures with highly interdependent spatial parameters and confirm the suitability of evolutionary strategies for training DEBI-NN.
• Abstract（参考訳）: Aim/Introduction: Distance-encoding Biomorphic-informational Neural Network (DEBI-NN)は、ユークリッド空間に位置するニューロン間の距離によって接続重みが定義されるアーキテクチャである。 このアプローチは、ウェイトを直接トレーニングする古典的ニューラルネットワークと比較して、トレーニング可能なパラメータの数を劇的に削減する。 DEBI-NNのトレーニングプロセスは、勾配降下(GD)ではなく遺伝的アルゴリズム(GA)に基づいている。 我々は,DEBI-NNのGD学習者の設計と実装を目標とし,GAと比較してその性能を評価する。 材料と方法: DEBI-NNに適合した空間的バックプロパゲーション方式を設計し, 合成非線形「2つのモード」データセット, 2つの臨床画像撮影データセット, n=85 から n=2126 のサンプルサイズを持つ胎児心電図データセットを用いて, GD と GA の比較を行った。 各オプティマイザは、各データセットに適応したターゲットのハイパーパラメータサーチによって調整される。 結果:すべての実験において,GAは優れた判定境界と分類性能(合成: 100% vs 83%, DLBCL: 83% vs 78%, HECKTOR: 80% vs 67%, 胎児: 81% vs 66%)を連続的に生み出した。 ニューロン相互依存性による絡み合った勾配は、古典的なバックプロパゲーションの有効性を制限する。 結論:これらの知見は,高度に相互依存した空間パラメータを持つアーキテクチャにおける勾配に基づく手法の基本的限界を強調し,DEBI-NNの訓練における進化的戦略の適合性を確認する。

関連論文リスト

• Beyond Anatomy: Explainable ASD Classification from rs-fMRI via Functional Parcellation and Graph Attention Networks [6.923757075165361]
  解剖学的脳解析は rs-fMRI に基づく自閉症スペクトラム障害 (ASD) の分類を支配している。 ABIDE Iデータセット上の解剖学的(AAL)と機能的(MSDL)パーセレーション戦略を比較したグラフベースのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-03T02:05:20Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning with Local Gradients at the Edge [14.94491070863641]
  我々は、Target Projection Gradient Descent (tpSGD) と呼ばれる新しいバックプロパゲーションフリー最適化アルゴリズムを提案する。 tpSGDは、任意の損失関数を扱うために、直接ランダムターゲット射影を一般化する。 我々は、深層ニューラルネットワークのトレーニングにおけるtpSGDの性能を評価し、マルチ層RNNへのアプローチを拡張した。
  論文  参考訳（メタデータ） (2022-08-17T19:51:06Z)
• Optimizing Deep Neural Networks through Neuroevolution with Stochastic Gradient Descent [18.70093247050813]
  深部ニューラルネットワーク(DNN)の訓練における勾配降下(SGD)は優勢である 神経進化は進化過程に沿っており、しばしばSGDでは利用できない重要な機能を提供している。 個体群の多様性を改善するために,個体間の重み更新を克服する階層型クラスタ型抑制アルゴリズムも開発されている。
  論文  参考訳（メタデータ） (2020-12-21T08:54:14Z)
• Impact of Spherical Coordinates Transformation Pre-processing in Deep Convolution Neural Networks for Brain Tumor Segmentation and Survival Prediction [0.0]
  球面変換入力データを用いたディープ畳み込みニューラルネットワーク(DCNN)のフィード化を目的とした新しい手法を提案する。 本研究では,球面座標変換を前処理法として適用した。 LesionEncoderフレームワークはDCNNモデルから自動的に機能を抽出し、OS予測の0.586精度を実現している。
  論文  参考訳（メタデータ） (2020-10-27T00:33:03Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。