論文の概要: Regularized Flexible Activation Function Combinations for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2007.13101v2
• Date: Wed, 19 Aug 2020 13:45:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 19:36:14.385229
• Title: Regularized Flexible Activation Function Combinations for Deep Neural Networks
• Title（参考訳）: ニューラルネットのための正規化フレキシブルアクティベーション関数の組み合わせ
• Authors: Renlong Jie, Junbin Gao, Andrey Vasnev, Min-ngoc Tran
• Abstract要約: フレキシブルアクティベーションP-Sig-Rampを用いたLSTMモデルは時系列予測において大きな改善をもたらすことが示されている。 提案したP-E2-ReLUは、畳み込みオートエンコーダを用いた画像圧縮タスクにおいて、より優れた、より安定した性能を実現する。
• 参考スコア（独自算出の注目度）: 25.129423369243284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation in deep neural networks is fundamental to achieving non-linear mappings. Traditional studies mainly focus on finding fixed activations for a particular set of learning tasks or model architectures. The research on flexible activation is quite limited in both designing philosophy and application scenarios. In this study, three principles of choosing flexible activation components are proposed and a general combined form of flexible activation functions is implemented. Based on this, a novel family of flexible activation functions that can replace sigmoid or tanh in LSTM cells are implemented, as well as a new family by combining ReLU and ELUs. Also, two new regularisation terms based on assumptions as prior knowledge are introduced. It has been shown that LSTM models with proposed flexible activations P-Sig-Ramp provide significant improvements in time series forecasting, while the proposed P-E2-ReLU achieves better and more stable performance on lossy image compression tasks with convolutional auto-encoders. In addition, the proposed regularization terms improve the convergence, performance and stability of the models with flexible activation functions.
• Abstract（参考訳）: ディープニューラルネットワークにおける活性化は、非線形マッピングの実現に不可欠である。 伝統的な研究は、主に特定の学習タスクやモデルアーキテクチャの一定のアクティベーションを見つけることに焦点を当てている。 フレキシブルアクティベーションに関する研究は、設計哲学とアプリケーションシナリオの両方において極めて限定的です。 本研究では, フレキシブルアクティベーション成分の選択に関する3つの原則を提案し, 汎用的なフレキシブルアクティベーション関数の構成法を提案する。 これに基づいて、LSTM細胞のシグモイドやタンを置換できる新規なフレキシブルアクティベーション機能ファミリーが実装され、ReLUとELUを組み合わせた新しいファミリーが導入された。 また、事前知識としての仮定に基づく2つの新しい正規化用語を導入する。 フレキシブルアクティベーションが提案されたLSTMモデルは時系列予測において大幅に改善され,P-E2-ReLUは畳み込みオートエンコーダを用いた画像圧縮タスクにおいて,より優れた,より安定した性能を実現している。 さらに,提案する正規化項により,モデルの収束性,性能,安定性が向上した。

関連論文リスト

• High-Fidelity Transfer of Functional Priors for Wide Bayesian Neural Networks by Learning Activations [1.0468715529145969]
  トレーニング可能なアクティベーションが,BNN上で複雑な関数空間にどのように対応できるかを示す。 本稿では,識別可能性,損失構成,対称性などの重要な学習課題について論じる。 実験により,単一の広層層を有するBNNであっても,高忠実度関数空間を効果的に実現できることが判明した。
  論文  参考訳（メタデータ） (2024-10-21T08:42:10Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Flextron: Many-in-One Flexible Large Language Model [85.93260172698398]
  我々は,フレキシブルモデル展開をサポートするネットワークアーキテクチャとポストトレーニングモデル最適化フレームワークであるFlextronを紹介する。 本稿では,既存の学習用LDMをFlextronモデルに変換するための,サンプル効率のよいトレーニング手法と関連するルーティングアルゴリズムを提案する。 我々は、複数のエンドツーエンドトレーニングされた変種や他の最先端の弾性ネットワークよりも優れた性能を示し、これらは全て、オリジナルの事前訓練と比較してわずか7.63%のトークンを消費する単一の事前訓練ランで実現している。
  論文  参考訳（メタデータ） (2024-06-11T01:16:10Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Generalized Activation via Multivariate Projection [46.837481855573145]
  活性化関数はニューラルネットワークに非線形性を導入するのに不可欠である。 我々は、ReLU を R から非負半直線 R+ への射影とみなす。 一般化された射影作用素でReLUを2次錐(SOC)射影のような凸錐に置換することでReLUを拡張する。
  論文  参考訳（メタデータ） (2023-09-29T12:44:27Z)
• Bayesian optimization for sparse neural networks with trainable activation functions [0.0]
  パラメータを推定する必要があるトレーニング可能なアクティベーション関数を提案する。 モデル重みとアクティベーション関数パラメータの両方から学習データから自動的に推定する完全ベイズモデルを開発した。
  論文  参考訳（メタデータ） (2023-04-10T08:44:44Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
  進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。 これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
  論文  参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。