論文の概要: TanhExp: A Smooth Activation Function with High Convergence Speed for Lightweight Neural Networks

• arxiv url: http://arxiv.org/abs/2003.09855v2
• Date: Wed, 9 Sep 2020 13:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:07:13.008689
• Title: TanhExp: A Smooth Activation Function with High Convergence Speed for Lightweight Neural Networks
• Title（参考訳）: TanhExp:軽量ニューラルネットワークのための高収束速度の滑らかな活性化関数
• Authors: Xinyu Liu, Xiaoguang Di
• Abstract要約: 本稿では,画像分類タスクにおけるこれらのネットワークの性能を大幅に向上させる,TanhExpという新しいアクティベーション関数を提案する。 ネットワークのサイズを増大させることなく、TanhExpによって軽量ニューラルネットワークのキャパシティを向上できることを示す。
• 参考スコア（独自算出の注目度）: 16.18537654959189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lightweight or mobile neural networks used for real-time computer vision tasks contain fewer parameters than normal networks, which lead to a constrained performance. In this work, we proposed a novel activation function named Tanh Exponential Activation Function (TanhExp) which can improve the performance for these networks on image classification task significantly. The definition of TanhExp is f(x) = xtanh(e^x). We demonstrate the simplicity, efficiency, and robustness of TanhExp on various datasets and network models and TanhExp outperforms its counterparts in both convergence speed and accuracy. Its behaviour also remains stable even with noise added and dataset altered. We show that without increasing the size of the network, the capacity of lightweight neural networks can be enhanced by TanhExp with only a few training epochs and no extra parameters added.
• Abstract（参考訳）: リアルタイムコンピュータビジョンタスクに使用される軽量または移動型ニューラルネットワークは、通常のネットワークよりもパラメータが少ないため、性能が制約される。 本研究では,画像分類タスクにおいて,これらのネットワークの性能を大幅に向上できる新しい活性化関数tanh exponential activation function(tanhexp)を提案する。 TanhExp の定義は f(x) = xtanh(e^x) である。 我々は、さまざまなデータセットやネットワークモデル上でTanhExpの単純さ、効率、堅牢さを実証し、TanhExpは収束速度と精度の両方でその性能を上回ります。 ノイズの追加やデータセットの変更があっても、その動作は安定している。 ネットワークのサイズを増大させることなく、TanhExpによって軽量ニューラルネットワークの容量を向上できることを示す。

関連論文リスト

• Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
  活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。 本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
  論文  参考訳（メタデータ） (2024-08-07T07:36:49Z)
• RepAct: The Re-parameterizable Adaptive Activation Function [31.238011686165596]
  RepActは、エッジデバイスの計算制限内で軽量ニューラルネットワークを最適化するための適応アクティベーション関数である。 画像分類や物体検出などのタスクで評価すると、RepActは従来のアクティベーション機能を上回った。
  論文  参考訳（メタデータ） (2024-06-28T08:25:45Z)
• TSSR: A Truncated and Signed Square Root Activation Function for Neural Networks [5.9622541907827875]
  我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。 この関数は奇数、非線形、単調、微分可能であるため特異である。 ニューラルネットワークの数値安定性を改善する可能性がある。
  論文  参考訳（メタデータ） (2023-08-09T09:40:34Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• AdderSR: Towards Energy Efficient Image Super-Resolution [127.61437479490047]
  本稿では,加算器ニューラルネットワーク(AdderNet)を用いた単一画像超解問題について検討する。 畳み込みニューラルネットワークと比較して、AdderNetは加算を利用して出力特性を計算し、従来の乗算の膨大なエネルギー消費を回避する。
  論文  参考訳（メタデータ） (2020-09-18T15:29:13Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。