Fugu-MT 論文翻訳(概要): Activation Function Optimization Scheme for Image Classification

論文の概要: Activation Function Optimization Scheme for Image Classification

arxiv url: http://arxiv.org/abs/2409.04915v1
Date: Sat, 7 Sep 2024 21:40:15 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 20:10:34.439113
Title: Activation Function Optimization Scheme for Image Classification
Title（参考訳）: 画像分類のための活性化関数最適化方式
Authors: Abdur Rahman, Lu He, Haifeng Wang,
Abstract要約: 活性化関数は、ディープニューラルネットワークの力学、収束、性能に大きな影響を及ぼす。本稿では,画像分類タスクに特化してアクティベーション関数を最適化するための進化的アプローチを提案する。我々は、指数誤差線形ユニット(EELU)と呼ばれる一連の高パフォーマンス活性化関数を得る。
参考スコア（独自算出の注目度）: 20.531966402727708
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Activation function has a significant impact on the dynamics, convergence, and performance of deep neural networks. The search for a consistent and high-performing activation function has always been a pursuit during deep learning model development. Existing state-of-the-art activation functions are manually designed with human expertise except for Swish. Swish was developed using a reinforcement learning-based search strategy. In this study, we propose an evolutionary approach for optimizing activation functions specifically for image classification tasks, aiming to discover functions that outperform current state-of-the-art options. Through this optimization framework, we obtain a series of high-performing activation functions denoted as Exponential Error Linear Unit (EELU). The developed activation functions are evaluated for image classification tasks from two perspectives: (1) five state-of-the-art neural network architectures, such as ResNet50, AlexNet, VGG16, MobileNet, and Compact Convolutional Transformer which cover computationally heavy to light neural networks, and (2) eight standard datasets, including CIFAR10, Imagenette, MNIST, Fashion MNIST, Beans, Colorectal Histology, CottonWeedID15, and TinyImageNet which cover from typical machine vision benchmark, agricultural image applications to medical image applications. Finally, we statistically investigate the generalization of the resultant activation functions developed through the optimization scheme. With a Friedman test, we conclude that the optimization scheme is able to generate activation functions that outperform the existing standard ones in 92.8% cases among 28 different cases studied, and $-x\cdot erf(e^{-x})$ is found to be the best activation function for image classification generated by the optimization scheme.
Abstract（参考訳）: 活性化関数は、ディープニューラルネットワークの力学、収束、性能に大きな影響を及ぼす。一貫性のある高性能なアクティベーション関数の探索は、ディープラーニングモデル開発において常に追求されてきた。既存の最先端のアクティベーション機能は、スウィッシュを除く人間の専門知識で手作業で設計されている。 Swishは強化学習に基づく検索戦略を用いて開発された。本研究では,画像分類タスクに特化したアクティベーション関数を最適化するための進化的アプローチを提案する。この最適化フレームワークにより、指数誤差線形ユニット(EELU)と呼ばれる一連の高い性能の活性化関数を得る。 1) ResNet50, AlexNet, VGG16, MobileNet, Compact Convolutional Transformer などの5つの最先端ニューラルネットワークアーキテクチャ,2) CIFAR10, Imagenette, MNIST, Fashion MNIST, Beans, Colorectal Histology, CottonWeedID15, TinyImageNet など,一般的なマシンビジョンベンチマーク, 農業画像アプリケーションから医療画像アプリケーションまで,8つの標準データセット。最後に,最適化手法により得られた活性化関数の一般化を統計的に検討する。フリードマンテストにより、28の異なるケースのうち、92.8%のケースで既存の標準値を上回るアクティベーション関数を生成することができると結論し、$-x\cdot erf(e^{-x})$が最適化スキームによって生成される画像分類の最も優れたアクティベーション関数であることが判明した。

関連論文リスト

LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文参考訳（メタデータ） (2024-07-13T16:09:45Z)
Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。マルチリニア演算子のみに依存するMONetを提案する。
論文参考訳（メタデータ） (2024-01-31T16:52:19Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
論文参考訳（メタデータ） (2023-01-13T23:11:14Z)
Evaluating CNN with Oscillatory Activation Function [0.0]
画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
論文参考訳（メタデータ） (2022-11-13T11:17:13Z)
Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文参考訳（メタデータ） (2021-04-08T11:29:11Z)
Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文参考訳（メタデータ） (2020-11-24T01:53:39Z)
Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文参考訳（メタデータ） (2020-07-20T18:04:14Z)
Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文参考訳（メタデータ） (2020-06-05T00:25:33Z)
Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文参考訳（メタデータ） (2020-04-06T19:52:48Z)
Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。