論文の概要: Genetic Algorithm based hyper-parameters optimization for transfer Convolutional Neural Network

• arxiv url: http://arxiv.org/abs/2103.03875v1
• Date: Fri, 26 Feb 2021 07:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:52:28.591390
• Title: Genetic Algorithm based hyper-parameters optimization for transfer Convolutional Neural Network
• Title（参考訳）: 遺伝的アルゴリズムを用いた変換畳み込みニューラルネットワークのハイパーパラメータ最適化
• Authors: Chen Li, JinZhe Jiang, YaQian Zhao, RenGang Li, EnDong Wang, Xin Zhang, Kun Zhao
• Abstract要約: 畳み込みニューラルネットワークの設計において,トランスファー層とトレーニング可能な層の決定が重要な課題である。 本稿では,トランスファーモデルのトレーニング可能な層選択に遺伝的アルゴリズムを適用した。 このシステムは、猫と犬のデータセットの分類で97%の精度で収束します。
• 参考スコア（独自算出の注目度）: 10.144772866486914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hyperparameter optimization is a challenging problem in developing deep neural networks. Decision of transfer layers and trainable layers is a major task for design of the transfer convolutional neural networks (CNN). Conventional transfer CNN models are usually manually designed based on intuition. In this paper, a genetic algorithm is applied to select trainable layers of the transfer model. The filter criterion is constructed by accuracy and the counts of the trainable layers. The results show that the method is competent in this task. The system will converge with a precision of 97% in the classification of Cats and Dogs datasets, in no more than 15 generations. Moreover, backward inference according the results of the genetic algorithm shows that our method can capture the gradient features in network layers, which plays a part on understanding of the transfer AI models.
• Abstract（参考訳）: ハイパーパラメータ最適化は、ディープニューラルネットワークを開発する上で難しい問題である。 転送層とトレーニング可能な層の決定は、転送畳み込みニューラルネットワーク(CNN)の設計における主要なタスクである。 従来のCNNモデルは直感に基づいて手動で設計される。 本稿では,トランスファーモデルのトレーニング可能な層選択に遺伝的アルゴリズムを適用した。 フィルタ基準は、トレーニング可能な層の数と精度で構成される。 その結果,この手法は有能であることがわかった。 このシステムは、猫と犬のデータセットの分類において、97%の精度で15世代以内の精度で収束する。 さらに, 遺伝的アルゴリズムの結果に基づく後方推定により, ネットワーク層の勾配特徴を捉えることができ, トランスファーaiモデルの理解に寄与することを示した。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization [0.0]
  畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。 テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T14:27:34Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Variational Tensor Neural Networks for Deep Learning [0.0]
  ディープニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。 これによりスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現され、多数のニューロンやレイヤに対して効率的にトレーニングすることができる。 我々のトレーニングアルゴリズムは、テンソル化トレーニング可能な重みの絡み合い構造に関する洞察を提供し、量子神経状態としての表現力を明らかにする。
  論文  参考訳（メタデータ） (2022-11-26T20:24:36Z)
• EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
  本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。 その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
  論文  参考訳（メタデータ） (2022-02-08T13:07:55Z)
• Transfer Learning based Evolutionary Deep Neural Network for Intelligent Fault Diagnosis [11.427019313283997]
  障害診断のためのディープニューラルネットワーク(DNN)の性能は、ネットワークアーキテクチャに大きく依存している。 本稿では、与えられたデータセットに対して最適なDNNアーキテクチャを求める進化的Net2Net変換(EvoNet2Net)を提案する。 我々は,ケース・ウェスタン・リザーブ大学データセットとパダーボーン大学データセットを用いて,提案フレームワークの有効性を実証した。
  論文  参考訳（メタデータ） (2021-09-28T04:31:23Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。