論文の概要: SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks

• arxiv url: http://arxiv.org/abs/2510.22450v2
• Date: Fri, 31 Oct 2025 02:28:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 13:41:53.408535
• Title: SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
• Title（参考訳）: SmartMixed:ニューラルネットワークにおける適応活性化関数学習のための2相学習戦略
• Authors: Amin Omidvar,
• Abstract要約: ネットワークが最適なニューロン単位のアクティベーション関数を学習できるようにするための2段階のトレーニング戦略であるSmartMixedを導入する。 We evaluate SmartMixed on the MNIST dataset using feedforward neural network of various depths。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The choice of activation function plays a critical role in neural networks, yet most architectures still rely on fixed, uniform activation functions across all neurons. We introduce SmartMixed, a two-phase training strategy that allows networks to learn optimal per-neuron activation functions while preserving computational efficiency at inference. In the first phase, neurons adaptively select from a pool of candidate activation functions (ReLU, Sigmoid, Tanh, Leaky ReLU, ELU, SELU) using a differentiable hard-mixture mechanism. In the second phase, each neuron's activation function is fixed according to the learned selection, resulting in a computationally efficient network that supports continued training with optimized vectorized operations. We evaluate SmartMixed on the MNIST dataset using feedforward neural networks of varying depths. The analysis shows that neurons in different layers exhibit distinct preferences for activation functions, providing insights into the functional diversity within neural architectures.
• Abstract（参考訳）: 活性化関数の選択は、ニューラルネットワークにおいて重要な役割を担っているが、ほとんどのアーキテクチャは、すべてのニューロンにわたって固定された均一な活性化関数に依存している。 我々は,2段階の学習戦略であるSmartMixedを導入し,推論時の計算効率を保ちながら,最適なニューロン単位のアクティベーション関数を学習できるようにする。 第1フェーズでは、ニューロンは、識別可能なハードミックス機構を使用して、候補活性化関数(ReLU、Sigmoid、Tanh、Leaky ReLU、ELU、SELU)のプールから適応的に選択する。 第2フェーズでは、学習した選択に応じて各ニューロンの活性化関数が固定され、最適化されたベクトル化演算による継続的なトレーニングをサポートする計算効率の良いネットワークが形成される。 We evaluate SmartMixed on the MNIST dataset using feedforward neural network of various depths。 この分析は、異なる階層のニューロンがアクティベーション機能の異なる選好を示し、ニューラルアーキテクチャにおける機能的多様性に関する洞察を与えることを示している。

関連論文リスト

• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Consensus Function from an $L_p^q-$norm Regularization Term for its Use as Adaptive Activation Functions in Neural Networks [0.0]
  本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。 この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。 予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
  論文  参考訳（メタデータ） (2022-06-30T04:48:14Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Advantages of biologically-inspired adaptive neural activation in RNNs during learning [10.357949759642816]
  生体ニューロンの入力周波数応答曲線にインスパイアされた非線形活性化関数のパラメトリックファミリーを導入する。 アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
  論文  参考訳（メタデータ） (2020-06-22T13:49:52Z)
• Rational neural networks [3.4376560669160394]
  我々は合理的な活性化機能を持つニューラルネットワークを考える。 有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
  論文  参考訳（メタデータ） (2020-04-04T10:36:11Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。