Fugu-MT 論文翻訳(概要): ReCA: A Parametric ReLU Composite Activation Function

論文の概要: ReCA: A Parametric ReLU Composite Activation Function

arxiv url: http://arxiv.org/abs/2504.08994v1
Date: Fri, 11 Apr 2025 22:05:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-15 16:50:40.346035
Title: ReCA: A Parametric ReLU Composite Activation Function
Title（参考訳）: ReCA: パラメトリックReLU複合活性化機能
Authors: John Chidiac, Danielle Azar,
Abstract要約: 活性化関数はディープニューラルネットワークの性能に大きな影響を与えることが示されている。本稿では,新しいパラメトリックアクティベーション関数ReCAを提案する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Activation functions have been shown to affect the performance of deep neural networks significantly. While the Rectified Linear Unit (ReLU) remains the dominant choice in practice, the optimal activation function for deep neural networks remains an open research question. In this paper, we propose a novel parametric activation function, ReCA, based on ReLU, which has been shown to outperform all baselines on state-of-the-art datasets using different complex neural network architectures.
Abstract（参考訳）: 活性化関数はディープニューラルネットワークの性能に大きな影響を与えることが示されている。 Rectified Linear Unit (ReLU) は依然として主要な選択肢であるが、ディープニューラルネットワークの最適なアクティベーション機能はオープンな研究課題である。本稿では,ReLUに基づく新しいパラメトリックアクティベーション関数ReCAを提案する。

関連論文リスト

Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文参考訳（メタデータ） (2024-12-05T09:41:33Z)
A Method on Searching Better Activation Functions [15.180864683908878]
深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
論文参考訳（メタデータ） (2024-05-19T03:48:05Z)
ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文参考訳（メタデータ） (2023-07-02T21:46:30Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文参考訳（メタデータ） (2021-06-16T15:56:34Z)
Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文参考訳（メタデータ） (2020-11-24T01:53:39Z)
Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance [2.5919242494186037]
ニューラルネットワークアーキテクチャを設計する上で重要な要素は、畳み込み層毎のフィルタ数、全接続層毎の隠れニューロン数、ドロップアウトとプルーニングである。ほとんどの場合、デフォルトのアクティベーション関数はReLUであり、より高速なトレーニング収束を実証的に示している。
論文参考訳（メタデータ） (2020-09-16T16:38:16Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Rational neural networks [3.4376560669160394]
我々は合理的な活性化機能を持つニューラルネットワークを考える。有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
論文参考訳（メタデータ） (2020-04-04T10:36:11Z)
Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。