論文の概要: Regularized Flexible Activation Function Combinations for Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2007.13101v2
- Date: Wed, 19 Aug 2020 13:45:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 19:36:14.385229
- Title: Regularized Flexible Activation Function Combinations for Deep Neural
Networks
- Title(参考訳): ニューラルネットのための正規化フレキシブルアクティベーション関数の組み合わせ
- Authors: Renlong Jie, Junbin Gao, Andrey Vasnev, Min-ngoc Tran
- Abstract要約: フレキシブルアクティベーションP-Sig-Rampを用いたLSTMモデルは時系列予測において大きな改善をもたらすことが示されている。
提案したP-E2-ReLUは、畳み込みオートエンコーダを用いた画像圧縮タスクにおいて、より優れた、より安定した性能を実現する。
- 参考スコア(独自算出の注目度): 25.129423369243284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Activation in deep neural networks is fundamental to achieving non-linear
mappings. Traditional studies mainly focus on finding fixed activations for a
particular set of learning tasks or model architectures. The research on
flexible activation is quite limited in both designing philosophy and
application scenarios. In this study, three principles of choosing flexible
activation components are proposed and a general combined form of flexible
activation functions is implemented. Based on this, a novel family of flexible
activation functions that can replace sigmoid or tanh in LSTM cells are
implemented, as well as a new family by combining ReLU and ELUs. Also, two new
regularisation terms based on assumptions as prior knowledge are introduced. It
has been shown that LSTM models with proposed flexible activations P-Sig-Ramp
provide significant improvements in time series forecasting, while the proposed
P-E2-ReLU achieves better and more stable performance on lossy image
compression tasks with convolutional auto-encoders. In addition, the proposed
regularization terms improve the convergence, performance and stability of the
models with flexible activation functions.
- Abstract(参考訳): ディープニューラルネットワークにおける活性化は、非線形マッピングの実現に不可欠である。
伝統的な研究は、主に特定の学習タスクやモデルアーキテクチャの一定のアクティベーションを見つけることに焦点を当てている。
フレキシブルアクティベーションに関する研究は、設計哲学とアプリケーションシナリオの両方において極めて限定的です。
本研究では, フレキシブルアクティベーション成分の選択に関する3つの原則を提案し, 汎用的なフレキシブルアクティベーション関数の構成法を提案する。
これに基づいて、LSTM細胞のシグモイドやタンを置換できる新規なフレキシブルアクティベーション機能ファミリーが実装され、ReLUとELUを組み合わせた新しいファミリーが導入された。
また、事前知識としての仮定に基づく2つの新しい正規化用語を導入する。
フレキシブルアクティベーションが提案されたLSTMモデルは時系列予測において大幅に改善され,P-E2-ReLUは畳み込みオートエンコーダを用いた画像圧縮タスクにおいて,より優れた,より安定した性能を実現している。
さらに,提案する正規化項により,モデルの収束性,性能,安定性が向上した。
関連論文リスト
- ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity
within Large Language Models [76.81756526165533]
活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。
ほとんどの大きな言語モデル(LLM)は、固有のアクティベーション間隔のないアクティベーション機能を採用している。
本稿では, モデル性能を低下させることなく, LLMを高機能化するために, プロスパース (ProSparse) と呼ばれる効果的なスペーシフィケーション手法を提案する。
論文 参考訳(メタデータ) (2024-02-21T03:58:49Z) - Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - Generalized Activation via Multivariate Projection [46.837481855573145]
活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。
我々は、ReLU を R から非負半直線 R+ への射影とみなす。
一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
論文 参考訳(メタデータ) (2023-09-29T12:44:27Z) - ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。
このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。
ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文 参考訳(メタデータ) (2023-07-02T21:46:30Z) - Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。
現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。
SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
論文 参考訳(メタデータ) (2023-06-19T23:10:02Z) - Bayesian optimization for sparse neural networks with trainable
activation functions [0.0]
パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。
モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
論文 参考訳(メタデータ) (2023-04-10T08:44:44Z) - Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。
まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。
第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
論文 参考訳(メタデータ) (2023-01-13T23:11:14Z) - Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na
previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。
定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。
ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文 参考訳(メタデータ) (2021-07-29T23:32:15Z) - Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。
能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。
その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
論文 参考訳(メタデータ) (2021-06-05T01:31:51Z) - On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。
入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文 参考訳(メタデータ) (2020-07-04T23:43:32Z) - Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文 参考訳(メタデータ) (2020-02-17T19:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。