論文の概要: Approximating Activation Functions

• arxiv url: http://arxiv.org/abs/2001.06370v1
• Date: Fri, 17 Jan 2020 15:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 10:08:17.495588
• Title: Approximating Activation Functions
• Title（参考訳）: 活性化関数の近似
• Authors: Nicholas Gerard Timmons, Andrew Rice
• Abstract要約: 関数近似法を用いて,双曲型接形関数とシグモイド関数の置換法を開発した。 CPU上でのトレーニング時間を10%から37%改善する安全な近似が得られます。 我々の関数はまた、Theanoで使われるアドホック近似とWord2Vecの実装とを一致または大幅に上回っている。
• 参考スコア（独自算出の注目度）: 3.8834605840347667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ReLU is widely seen as the default choice for activation functions in neural networks. However, there are cases where more complicated functions are required. In particular, recurrent neural networks (such as LSTMs) make extensive use of both hyperbolic tangent and sigmoid functions. These functions are expensive to compute. We used function approximation techniques to develop replacements for these functions and evaluated them empirically on three popular network configurations. We find safe approximations that yield a 10% to 37% improvement in training times on the CPU. These approximations were suitable for all cases we considered and we believe are appropriate replacements for all networks using these activation functions. We also develop ranged approximations which only apply in some cases due to restrictions on their input domain. Our ranged approximations yield a performance improvement of 20% to 53% in network training time. Our functions also match or considerably out perform the ad-hoc approximations used in Theano and the implementation of Word2Vec.
• Abstract（参考訳）: ReLUはニューラルネットワークにおけるアクティベーション関数のデフォルト選択として広く見なされている。 しかし、より複雑な関数を必要とする場合もある。 特に、リカレントニューラルネットワーク(LSTMなど)は双曲的接点関数とシグモイド関数の両方を広範囲に利用している。 これらの関数は計算にコストがかかる。 関数近似法を用いてこれらの関数の置き換えを行い,3種類のネットワーク構成を用いて実験的に評価した。 CPU上でのトレーニング時間を10%から37%改善する安全な近似が得られます。 これらの近似は検討した全てのケースに適しており、これらのアクティベーション関数を用いた全てのネットワークに適切な置き換えであると信じている。 また,入力領域に制限がある場合のみ適用可能な範囲近似も開発した。 我々の範囲の近似は、ネットワークトレーニング時間で20%から53%の性能向上をもたらす。 我々の関数はまた、Theanoで使われるアドホック近似とWord2Vecの実装とを一致または大幅に改善します。

関連論文リスト

• OPAF: Optimized Secure Two-Party Computation Protocols for Nonlinear Activation Functions in Recurrent Neural Network [8.825150825838769]
  本稿では,二者間設定の半正直モデルにおける非線形関数の実装について,特に注目する。 そこで本研究では,分割・対数戦略を用いた指数関数の新しい,効率的なプロトコルを提案する。 次に,Sigmoid と Tanh の対称性を利用し,入力を微調整して2PC 構築ブロックを小さくする。
  論文  参考訳（メタデータ） (2024-03-01T02:49:40Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• S++: A Fast and Deployable Secure-Computation Framework for Privacy-Preserving Neural Network Training [0.4893345190925178]
  複数のソースからのプライベートデータを使用して、ニューラルネットワーク(NN)をトレーニングするための、シンプルで堅牢でデプロイ可能なフレームワークであるS++を紹介します。 はじめに、すべての共通アクティベーション関数に対して高速かつ検証可能なプロトコルを提供し、それらを秘密の方法で実行するために最適化する。
  論文  参考訳（メタデータ） (2021-01-28T15:48:54Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks [0.0]
  ニューラルネットワーク計算において最も適切なアクティベーション関数を選択することは重要である。 本稿では,Swish,ReLU,Sigmoidなどの一般的な添加関数について検討する。
  論文  参考訳（メタデータ） (2020-10-15T11:09:34Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Activation functions are not needed: the ratio net [3.9636371287541086]
  本稿では,新しい関数近似器の設計に焦点をあてる。 新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。 その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-05-14T01:07:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。