論文の概要: Evolution of Activation Functions for Deep Learning-Based Image Classification

• arxiv url: http://arxiv.org/abs/2206.12089v1
• Date: Fri, 24 Jun 2022 05:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 12:58:20.976780
• Title: Evolution of Activation Functions for Deep Learning-Based Image Classification
• Title（参考訳）: 深層学習に基づく画像分類のための活性化関数の進化
• Authors: Raz Lapid and Moshe Sipper
• Abstract要約: 活性化関数(AF)は、ニューラルネットワークの性能において重要な役割を果たす。 AFを進化させる新しい3つの集団共進化アルゴリズムを提案する。 MNIST、FashionMNIST、KMNIST、USPSの4つのデータセットでテストした結果、優れたAFとAFアーキテクチャを見つけるためのパフォーマンスアルゴリズムであることが証明された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation functions (AFs) play a pivotal role in the performance of neural networks. The Rectified Linear Unit (ReLU) is currently the most commonly used AF. Several replacements to ReLU have been suggested but improvements have proven inconsistent. Some AFs exhibit better performance for specific tasks, but it is hard to know a priori how to select the appropriate one(s). Studying both standard fully connected neural networks (FCNs) and convolutional neural networks (CNNs), we propose a novel, three-population, coevolutionary algorithm to evolve AFs, and compare it to four other methods, both evolutionary and non-evolutionary. Tested on four datasets -- MNIST, FashionMNIST, KMNIST, and USPS -- coevolution proves to be a performant algorithm for finding good AFs and AF architectures.
• Abstract（参考訳）: 活性化関数(AF)は、ニューラルネットワークの性能において重要な役割を果たす。 Rectified Linear Unit (ReLU) は現在最も一般的なAFである。 ReLUの代替案がいくつか提案されているが、改善は矛盾している。 一部のAFは特定のタスクに対してより良いパフォーマンスを示すが、適切なタスクを選択する方法を知ることは困難である。 標準完全連結ニューラルネットワーク (FCN) と畳み込みニューラルネットワーク (CNN) の両方について検討し, AF を進化させる新しい3つの集団共進化アルゴリズムを提案し,それを進化的および非進化的という4つの方法と比較した。 MNIST、FashionMNIST、KMNIST、USPSの4つのデータセットでテストした結果、優れたAFとAFアーキテクチャを見つけるためのパフォーマンスアルゴリズムであることが証明された。

関連論文リスト

• Optimizing cnn-Bigru performance: Mish activation and comparative analysis with Relu [0.0]
  アクティベーション関数(AF)はニューラルネットワークの基本コンポーネントであり、データ内の複雑なパターンや関係をキャプチャすることができる。 本研究は, 侵入検知システムの性能向上におけるAFの有効性を照らすものである。
  論文  参考訳（メタデータ） (2024-05-30T21:48:56Z)
• DCNN: Dual Cross-current Neural Networks Realized Using An Interactive Deep Learning Discriminator for Fine-grained Objects [48.65846477275723]
  本研究では、微細な画像分類の精度を向上させるために、新しい二重電流ニューラルネットワーク(DCNN)を提案する。 弱い教師付き学習バックボーンモデルを構築するための新しい特徴として、(a)異種データの抽出、(b)特徴マップの解像度の維持、(c)受容領域の拡大、(d)グローバル表現と局所特徴の融合などがある。
  論文  参考訳（メタデータ） (2024-05-07T07:51:28Z)
• Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks [17.12834153477201]
  スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。 スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。 NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
  論文  参考訳（メタデータ） (2023-03-10T17:09:55Z)
• GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm [15.403807679886716]
  バイナリニューラルネットワーク(BNN)は、エッジデバイスやモバイルシステムのような、コストと電力制限のある領域で有望な利用を示している。 本稿では,サインベースバイナライゼーションに先立って補完活性化関数 (AF) を付加し,遺伝的アルゴリズム (GA) に頼って理想的なAFを自動検索することを提案する。
  論文  参考訳（メタデータ） (2022-06-05T06:36:22Z)
• A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning [23.83339228535986]
  さまざまなタイプの問題に対処するために、さまざまなタイプのニューラルネットワークが導入されている。 ニューラルネットワークの主な目標は、非線形分離可能な入力データをより線形分離可能な抽象的特徴に変換することである。 最もポピュラーで一般的な非線形層は、ロジスティックシグモド、タン、ReLU、ELU、Swish、Mishなどのアクティベーション関数(AF)である。
  論文  参考訳（メタデータ） (2021-09-29T16:41:19Z)
• Tensor-based framework for training flexible neural networks [9.176056742068813]
  本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。 提案アルゴリズムは、異なる基底分解を処理できる。 この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
  論文  参考訳（メタデータ） (2021-06-25T10:26:48Z)
• Involution: Inverting the Inherence of Convolution for Visual Recognition [72.88582255910835]
  本稿では,畳み込みの原理を逆転させることにより,深層ニューラルネットワークの新たな原子操作を提案する。 提案する畳み込み演算子は、視覚認識のための新しい世代のニューラルネットワークを構築するための基本ブロックとして利用することができる。 当社のInvolutionベースのモデルは、ResNet-50を使用した畳み込みベースラインのパフォーマンスを最大1.6%の精度、2.5%と2.4%のバウンディングボックスAP、4.7%は絶対にIoUを意味します。
  論文  参考訳（メタデータ） (2021-03-10T18:40:46Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Alpha Discovery Neural Network based on Prior Knowledge [55.65102700986668]
  遺伝的プログラミング(GP)は、金融自動化機能構築タスクにおける最先端技術である。 本稿では,分散金融技術指標の自動構築が可能なニューラルネットワーク構造であるAlpha Discovery Neural Network (ADNN)を提案する。
  論文  参考訳（メタデータ） (2019-12-26T03:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。