論文の概要: Smooth activations and reproducibility in deep networks
- arxiv url: http://arxiv.org/abs/2010.09931v2
- Date: Tue, 1 Dec 2020 00:11:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 05:36:38.369033
- Title: Smooth activations and reproducibility in deep networks
- Title（参考訳）: ディープネットワークにおけるスムースアクティベーションと再現性
- Authors: Gil I. Shamir, Dong Lin, and Lorenzo Coviello
- Abstract要約: 全く同じトレーニングデータセットでトレーニングされた2つの同一モデルでは、個々のサンプルに対する予測に大きな違いがある可能性がある。
我々は、ReLUよりもスムーズなアクティベーションを実現できるだけでなく、より精度の高い再現性トレードオフを提供できることを示した。
そこで我々は,Smooth ReLU(emphSmeLU)という,より優れたトレードオフを提供するとともに,数学的表現をシンプルに保ち,実装を安価にすることを目的とした,新たなアクティベーションファミリーを提案する。
- 参考スコア（独自算出の注目度）: 4.106285392075794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep networks are gradually penetrating almost every domain in our lives due
to their amazing success. However, with substantive performance accuracy
improvements comes the price of \emph{irreproducibility}. Two identical models,
trained on the exact same training dataset may exhibit large differences in
predictions on individual examples even when average accuracy is similar,
especially when trained on highly distributed parallel systems. The popular
Rectified Linear Unit (ReLU) activation has been key to recent success of deep
networks. We demonstrate, however, that ReLU is also a catalyzer to
irreproducibility in deep networks. We show that not only can activations
smoother than ReLU provide better accuracy, but they can also provide better
accuracy-reproducibility tradeoffs. We propose a new family of activations;
Smooth ReLU (\emph{SmeLU}), designed to give such better tradeoffs, while also
keeping the mathematical expression simple, and thus implementation cheap.
SmeLU is monotonic, mimics ReLU, while providing continuous gradients, yielding
better reproducibility. We generalize SmeLU to give even more flexibility and
then demonstrate that SmeLU and its generalized form are special cases of a
more general methodology of REctified Smooth Continuous Unit (RESCU)
activations. Empirical results demonstrate the superior
accuracy-reproducibility tradeoffs with smooth activations, SmeLU in
particular.
- Abstract（参考訳）: ディープネットワークは、私たちの生活のほとんどすべての領域に徐々に浸透している。
しかし、実質的な性能精度の改善により、emph{irreproducibility} の価格が上がる。
全く同じトレーニングデータセットでトレーニングされた2つの同一モデルでは、平均精度が同じであっても、特に高分散並列システムでトレーニングされた場合、個々の例の予測に大きな差がある可能性がある。
Rectified Linear Unit (ReLU) のアクティベーションは、近年のディープネットワークの成功の鍵となっている。
しかし、我々はReLUが深層ネットワークにおける不再現性の触媒でもあることを示した。
reluよりもスムースにアクティベーションを実現できるだけでなく、精度と再現性のトレードオフも改善できることを示した。
そこで我々は,Smooth ReLU (\emph{SmeLU}) という,より優れたトレードオフを提供するとともに,数学的表現をシンプルに保ち,実装を安価にすることを目的とした,新たなアクティベーションファミリーを提案する。
SmeLUはモノトニックであり、ReLUを模倣し、連続的な勾配を提供し、再現性を向上させる。
我々はSmeLUをさらに柔軟にするために一般化し、SmeLUとその一般化形式が、より一般的なrectified Smooth Continuous Unit(RESCU)アクティベーションの方法論の特別なケースであることを実証する。
実験結果から,スムーズな活性化を伴う高い精度再現性トレードオフ,特にSmeLUが示された。
関連論文リスト
- Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks [0.022344294014777957]
アクティベーション(AM)は最適な入力を生成し、トレーニングされたディープニューラルネットワークで高い応答をトリガーする機能を明らかにする。
本稿では,ReLU や Leaky ReLU を含む単純な関数に対して,AM が最適入力を生成できないことを示す。
本稿では,後進パスに負の勾配を持つLeaky ReLUを用いて,前進パスに,元の(通常ゼロの)傾斜を保ちながら,後方パスに高い負の勾配を持つ解を提案する。
論文 参考訳（メタデータ） (2024-10-22T12:38:39Z) - Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。
この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。
CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
論文 参考訳（メタデータ） (2024-08-28T11:12:27Z) - Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。
具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。
そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
論文 参考訳（メタデータ） (2024-08-08T17:20:08Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳（メタデータ） (2023-06-30T09:17:39Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Learning to Linearize Deep Neural Networks for Secure and Efficient
Private Inference [5.293553970082942]
既存のReLU操作を減らす技術は、しばしば手作業と精度を犠牲にする。
まず、非線形層のReLU感度の新たな尺度を示し、時間を要する手作業の軽減を可能にする。
次に、レイヤごとのReLU数を自動割り当てし、各レイヤのアクティベーションマップのReLU位置を決定し、ReLUをはるかに少ないモデルでトレーニングする3段階トレーニング手法SENetを提案する。
論文 参考訳（メタデータ） (2023-01-23T03:33:38Z) - Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in
Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。
本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。
我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文 参考訳（メタデータ） (2022-10-04T04:01:15Z) - Real World Large Scale Recommendation Systems Reproducibility and Smooth
Activations [5.452074074840966]
本稿では,スムーズなアクティベーションの新たなファミリーであるSmooth ReLU(SmeLU)について述べる。
我々は、SmeLUを相当な利益と精度・再現性トレードオフで生産できる実システムからのメトリクスを報告する。
これにはクリックスルーレート(CTR)予測システム、コンテンツ、アプリケーションレコメンデーションシステムが含まれる。
論文 参考訳（メタデータ） (2022-02-14T06:22:56Z) - Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。
本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。
この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
論文 参考訳（メタデータ） (2021-06-04T17:21:07Z) - The effect of Target Normalization and Momentum on Dying ReLU [22.41606885255209]
単位分散目標が十分に動機付けられており、目標分散が0に近づくと、ReLUはより簡単に死滅することを示す。
また,死亡するReLUに対応するサドル点と領域を特定するために,単一ReLUモデルの勾配を解析した。
論文 参考訳（メタデータ） (2020-05-13T08:01:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。