論文の概要: Task-Specific Activation Functions for Neuroevolution using Grammatical Evolution

• arxiv url: http://arxiv.org/abs/2503.10879v1
• Date: Thu, 13 Mar 2025 20:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:09:18.803948
• Title: Task-Specific Activation Functions for Neuroevolution using Grammatical Evolution
• Title（参考訳）: 文法進化を用いた神経進化のためのタスク特異的活性化機能
• Authors: Benjamin David Winter, William John Teahan,
• Abstract要約: 我々は,新しいアクティベーション関数を自動進化させるために,文法進化(GE)を活用する革新的なアプローチであるNevo GEAFを紹介する。 有名なバイナリ分類データセットで実施された実験では、ReLUよりもF1スコア(2.4%と9.4%)が統計的に顕著に改善された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Activation functions play a critical role in the performance and behaviour of neural networks, significantly impacting their ability to learn and generalise. Traditional activation functions, such as ReLU, sigmoid, and tanh, have been widely used with considerable success. However, these functions may not always provide optimal performance for all tasks and datasets. In this paper, we introduce Neuvo GEAF - an innovative approach leveraging grammatical evolution (GE) to automatically evolve novel activation functions tailored to specific neural network architectures and datasets. Experiments conducted on well-known binary classification datasets show statistically significant improvements in F1-score (between 2.4% and 9.4%) over ReLU using identical network architectures. Notably, these performance gains were achieved without increasing the network's parameter count, supporting the trend toward more efficient neural networks that can operate effectively on resource-constrained edge devices. This paper's findings suggest that evolved activation functions can provide significant performance improvements for compact networks while maintaining energy efficiency during both training and inference phases.
• Abstract（参考訳）: 活性化関数は、ニューラルネットワークのパフォーマンスと振る舞いにおいて重要な役割を担い、学習と一般化の能力に大きな影響を及ぼす。 ReLU、シグモイド、タンなどの従来の活性化機能は広く使われており、かなりの成功を収めている。 しかしながら、これらの機能は、すべてのタスクやデータセットに対して常に最適なパフォーマンスを提供するとは限らない。 本稿では,ニューボGEAF(Neuvo GEAF)を紹介する。これは,文法進化(GE)を利用して,特定のニューラルネットワークアーキテクチャやデータセットに適した新しいアクティベーション関数を自動的に進化させる革新的なアプローチである。 有名なバイナリ分類データセットで実施された実験は、同じネットワークアーキテクチャを用いてReLUよりもF1スコア(2.4%と9.4%)が統計的に顕著に向上したことを示している。 特に、これらのパフォーマンス向上は、ネットワークのパラメータ数を増やすことなく達成され、リソース制約されたエッジデバイスで効果的に動作可能な、より効率的なニューラルネットワークへのトレンドを支持した。 本稿では, 学習と推論の両段階において, エネルギー効率を保ちながら, 活性化関数の進化により, コンパクトネットワークの性能が大幅に向上することが示唆された。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• APALU: A Trainable, Adaptive Activation Function for Deep Learning Networks [0.0]
  APALU(Adaptive piecewise approximated activation linear unit)を新たに導入する。 実験では、様々なタスクに広く使用されるアクティベーション関数よりも大幅に改善されている。 APALUは、限られたデータセットで手話認識タスクにおいて100%精度を達成する。
  論文  参考訳（メタデータ） (2024-02-13T06:18:42Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• CondenseNet V2: Sparse Feature Reactivation for Deep Networks [87.38447745642479]
  高密度接続によるディープネットワークの機能再利用は、高い計算効率を達成する効果的な方法である。 スパース機能再活性化(SFR)と呼ばれる代替アプローチを提案し、再利用機能の有用性を積極的に高めることを目指しています。 提案手法は画像分類(ImageNet, CIFAR)とオブジェクト検出(MSCOCO)において,理論的効率と実用的速度の両面で有望な性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-04-09T14:12:43Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
  進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。 これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
  論文  参考訳（メタデータ） (2020-02-17T19:54:26Z)
• Cooperative Initialization based Deep Neural Network Training [35.14235994478142]
  本手法では,ネットワークのトレーニング中に,全ての重みパラメータの更新に複数のアクティベーション関数を用いる。 提案手法は,様々なベースラインに優れ,同時に分類や検出など,さまざまなタスクに対して優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-01-05T14:08:46Z)
• Alpha Discovery Neural Network based on Prior Knowledge [55.65102700986668]
  遺伝的プログラミング(GP)は、金融自動化機能構築タスクにおける最先端技術である。 本稿では,分散金融技術指標の自動構築が可能なニューラルネットワーク構造であるAlpha Discovery Neural Network (ADNN)を提案する。
  論文  参考訳（メタデータ） (2019-12-26T03:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。