論文の概要: Dual-Individual Genetic Algorithm: A Dual-Individual Approach for Efficient Training of Multi-Layer Neural Networks
- arxiv url: http://arxiv.org/abs/2504.17346v1
- Date: Thu, 24 Apr 2025 08:04:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.28915
- Title: Dual-Individual Genetic Algorithm: A Dual-Individual Approach for Efficient Training of Multi-Layer Neural Networks
- Title（参考訳）: Dual-Individual Genetic Algorithm:Dual-Individual Approach for Efficient Training of Multi-Layer Neural Networks
- Authors: Tran Thuy Nga Truong, Jooyong Kim,
- Abstract要約: 本稿では,二元画像分類タスクのためのニューラルネットワークを最適化する改良された遺伝的アルゴリズムを提案する。
Dual-Individual Genetic Algorithmはクロスオーバーのために2つの個人を雇い、リーダーとフォロワーという2つのパラメータセットで表現している。
実験の結果、Dual-Individual GAは、アーキテクチャを持つ3層ネットワーク上で、99.04%のトレーニング精度と80%のテスト精度(コスト=0.034)を達成することが示された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces an enhanced Genetic Algorithm technique called Dual-Individual Genetic Algorithm (Dual-Individual GA), which optimizes neural networks for binary image classification tasks, such as cat vs. non-cat classification. The proposed method employs only two individuals for crossover, represented by two parameter sets: Leader and Follower. The Leader focuses on exploitation, representing the primary optimal solution at even-indexed positions (0, 2, 4, ...), while the Follower promotes exploration by preserving diversity and avoiding premature convergence, operating at odd-indexed positions (1, 3, 5, ...). Leader and Follower are modeled as two phases or roles. The key contributions of this work are threefold: (1) a self-adaptive layer dimension mechanism that eliminates the need for manual tuning of layer architectures; (2) generates two parameter sets, leader and follower parameter sets, with 10 layer architecture configurations (5 for each set), ranked by Pareto dominance and cost. post-optimization; and (3) demonstrated superior performance compared to traditional gradient-based methods. Experimental results show that the Dual-Individual GA achieves 99.04% training accuracy and 80% testing accuracy (cost = 0.034) on a three-layer network with architecture [12288, 17, 4, 1], outperforming a gradient-based approach that achieves 98% training accuracy and 80% testing accuracy (cost = 0.092) on a four-layer network with architecture [12288, 20, 7, 5, 1]. These findings highlight the efficiency and effectiveness of the proposed method in optimizing neural networks.
- Abstract（参考訳）: 本稿では,2次元遺伝的アルゴリズム(Dual-Individual Genetic Algorithm,Dual-Individual GA)と呼ばれる改良された遺伝的アルゴリズムを提案する。
提案手法では,2つのパラメータセット(リーダーとフォロワー)で表されるクロスオーバーに2つの個人しか使用しない。
リーダーは、偶発的位置 (0, 2, 4, ...) における主要な最適解を表す、搾取に焦点を当て、フォロワーは多様性を保ち、未熟な収束を回避し、奇発的位置 (1, 3, 5, ...) で操作することによって探索を促進する。
リーダーとフォロワーは2つのフェーズまたは役割としてモデル化されます。
1) 階層アーキテクチャの手動チューニングを不要にする自己適応的な層次元メカニズム、(2) パレート支配とコストによってランク付けされた10のレイヤアーキテクチャ構成を持つ2つのパラメータセット、リーダと従者パラメータセットを生成する。
Post-optimization; and (3) showed superior performance than traditional gradient-based method。
実験結果から,2次元GAは3層ネットワークのアーキテクチャ[12288, 17, 4, 1]で99.04%のトレーニング精度と80%のテスト精度(コスト=0.034)を達成し,アーキテクチャ[12288, 20, 7, 5, 1]で98%のトレーニング精度と80%のテスト精度(コスト=0.092)を達成した。
これらの知見は,ニューラルネットワークの最適化における提案手法の有効性と有効性を明らかにするものである。
関連論文リスト
- DNAD: Differentiable Neural Architecture Distillation [6.026956571669411]
識別可能なニューラルアーキテクチャ蒸留(DNAD)アルゴリズムは、2つのコアに基づいて開発されている。
DNADは6.0Mパラメータと598M FLOPのモデルで、ImageNet分類でトップ-1エラー率23.7%を達成した。
微分可能なアーキテクチャ探索(DARTS)の枠組みに基づくSNPSアルゴリズムの開発
論文 参考訳（メタデータ） (2025-04-25T08:49:31Z) - Boosting the Efficiency of Parametric Detection with Hierarchical Neural
Networks [4.1410005218338695]
高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。
ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。
2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
論文 参考訳（メタデータ） (2022-07-23T19:23:00Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Binarizing by Classification: Is soft function really necessary? [4.329951775163721]
本稿では,二項分類問題としてネットワークバイナライゼーションに取り組むことを提案する。
また、ポーズ推定モデルの軽量化手法としてバイナライゼーションを用いる。
提案手法により,最大60.6ドルのmAPを初めて達成できる。
論文 参考訳（メタデータ） (2022-05-16T02:47:41Z) - Optimization of Residual Convolutional Neural Network for
Electrocardiogram Classification [0.9281671380673306]
本稿では,2段階のリカレント1次元畳み込みニューラルネットワークモデル(R-1D-CNN)を提案する。
第1段階では、残留畳み込み層と1次元畳み込みニューラルネットワーク層をトレーニングし、患者固有の心電図の特徴を学習する。
2番目のレベルは自動であり、提案アルゴリズムに基づくBOに基づいている。
論文 参考訳（メタデータ） (2021-12-11T16:52:23Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。
UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
論文 参考訳（メタデータ） (2021-08-20T12:09:38Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - A block coordinate descent optimizer for classification problems
exploiting convexity [0.0]
隠れ層の重み付けにおけるクロスエントロピー損失の凸性を利用した分類タスクのためのディープ線形ネットワークに座標降下法を導入する。
線形層に対する大域的最適パラメータと隠蔽層への勾配勾配を求める2次法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
論文 参考訳（メタデータ） (2020-06-17T19:49:06Z) - MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT
Prostate Segmentation via Online Sampling [66.01558025094333]
本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。
マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。
本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
論文 参考訳（メタデータ） (2020-05-15T10:37:02Z) - Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。
ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。
我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
論文 参考訳（メタデータ） (2020-05-13T13:25:51Z) - Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。
我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。
すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文 参考訳（メタデータ） (2020-03-25T17:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。