論文の概要: ENN: A Neural Network with DCT-Adaptive Activation Functions
- arxiv url: http://arxiv.org/abs/2307.00673v1
- Date: Sun, 2 Jul 2023 21:46:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 14:46:37.547648
- Title: ENN: A Neural Network with DCT-Adaptive Activation Functions
- Title（参考訳）: ENN: DCT適応活性化機能を持つニューラルネットワーク
- Authors: Marc Martinez-Gost, Ana P\'erez-Neira, Miguel \'Angel Lagunas
- Abstract要約: 離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいアーキテクチャであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオで最大40%の精度で、最先端のベンチマークよりも優れています。
- 参考スコア（独自算出の注目度）: 4.125187280299246
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The expressiveness of neural networks highly depends on the nature of the
activation function, although these are usually assumed predefined and fixed
during the training stage. In this paper we present Expressive Neural Network
(ENN), a novel architecture in which the non-linear activation functions are
modeled using the Discrete Cosine Transform (DCT) and adapted using
backpropagation during training. This parametrization keeps the number of
trainable parameters low, is appropriate for gradient-based schemes, and adapts
to different learning tasks. This is the first non-linear model for activation
functions that relies on a signal processing perspective, providing high
flexibility and expressiveness to the network. We contribute with insights in
the explainability of the network at convergence by recovering the concept of
bump, this is, the response of each activation function in the output space to
provide insights. Finally, through exhaustive experiments we show that the
model can adapt to classification and regression tasks. The performance of ENN
outperforms state of the art benchmarks, providing up to a 40\% gap in accuracy
in some scenarios.
- Abstract（参考訳）: ニューラルネットワークの表現性はアクティベーション関数の性質に大きく依存するが、トレーニング段階では事前に定義され固定されることが多い。
本稿では,非線形活性化関数を離散コサイン変換(dct)を用いてモデル化し,トレーニング中にバックプロパゲーションを用いて適応する,新しい表現型ニューラルネットワーク(enn)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く抑え、勾配ベースのスキームに適し、異なる学習タスクに適応する。
これは、信号処理の観点から、ネットワークに高い柔軟性と表現性を提供する、アクティベーション関数のための最初の非線形モデルである。
我々は,バンプの概念,すなわち出力空間における各アクティベーション関数の応答を回復することで,収束時のネットワークの説明可能性に関する洞察を寄与し,洞察を提供する。
最後に、徹底的な実験を通して、モデルが分類および回帰タスクに適応できることを示します。
ENNのパフォーマンスは、いくつかのシナリオで最大40倍の精度で、アートベンチマークの状態を上回ります。
関連論文リスト
- Fractional Concepts in Neural Networks: Enhancing Activation and Loss
Functions [0.7614628596146602]
本稿では,ニューラルネットワークにおける分数的概念を用いて,アクティベーションと損失関数の修正を行う手法を提案する。
これにより、ネットワーク内のニューロンがアクティベーション関数を調整して、入力データとの整合性を向上し、出力エラーを低減できる。
論文 参考訳（メタデータ） (2023-10-18T10:49:29Z) - ASU-CNN: An Efficient Deep Architecture for Image Classification and
Feature Visualizations [0.0]
活性化関数はディープニューラルネットワークの能力を決定する上で決定的な役割を果たす。
本稿では,ASU-CNNと呼ばれる畳み込みニューラルネットワークモデルを提案する。
ネットワークは、CIFAR-10の分類のためのトレーニングデータとテストデータの両方において有望な結果を得た。
論文 参考訳（メタデータ） (2023-05-28T16:52:25Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Consensus Function from an $L_p^q-$norm Regularization Term for its Use
as Adaptive Activation Functions in Neural Networks [0.0]
本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。
この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。
予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
論文 参考訳（メタデータ） (2022-06-30T04:48:14Z) - Wasserstein Flow Meets Replicator Dynamics: A Mean-Field Analysis of Representation Learning in Actor-Critic [137.04558017227583]
ニューラルネットワークによって強化されたアクター・クリティカル(AC)アルゴリズムは、近年、かなりの成功を収めている。
我々は,特徴量に基づくニューラルACの進化と収束について,平均場の観点から考察する。
神経性交流は,大域的最適政策をサブ線形速度で求める。
論文 参考訳（メタデータ） (2021-12-27T06:09:50Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳（メタデータ） (2021-07-29T23:32:15Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Activation function design for deep networks: linearity and effective
initialisation [10.108857371774977]
先行作業で特定された初期化時の2つの問題を回避する方法を検討する。
これらの問題は, 原点付近に十分に大きな線形領域を持つ活性化関数を選択することで, どちらも回避できることを示す。
論文 参考訳（メタデータ） (2021-05-17T11:30:46Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。