論文の概要: Dynamic ReLU

• arxiv url: http://arxiv.org/abs/2003.10027v2
• Date: Wed, 5 Aug 2020 17:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:41:39.946722
• Title: Dynamic ReLU
• Title（参考訳）: ダイナミックルル
• Authors: Yinpeng Chen, Xiyang Dai, Mengchen Liu, Dongdong Chen, Lu Yuan, and Zicheng Liu
• Abstract要約: 本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。 静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。 単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
• 参考スコア（独自算出の注目度）: 74.973224160508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rectified linear units (ReLU) are commonly used in deep neural networks. So far ReLU and its generalizations (non-parametric or parametric) are static, performing identically for all input samples. In this paper, we propose dynamic ReLU (DY-ReLU), a dynamic rectifier of which parameters are generated by a hyper function over all in-put elements. The key insight is that DY-ReLU encodes the global context into the hyper function, and adapts the piecewise linear activation function accordingly. Compared to its static counterpart, DY-ReLU has negligible extra computational cost, but significantly more representation capability, especially for light-weight neural networks. By simply using DY-ReLU for MobileNetV2, the top-1 accuracy on ImageNet classification is boosted from 72.0% to 76.2% with only 5% additional FLOPs.
• Abstract（参考訳）: 整流線形単位(relu)はディープニューラルネットワークで一般的に用いられる。 これまでのところ、ReLUとその一般化(非パラメトリックまたはパラメトリック)は静的であり、全ての入力サンプルに対して同一に実行される。 本稿では、全てのインプット要素上のハイパー関数によってパラメータが生成される動的整流器である動的ReLU(DY-ReLU)を提案する。 鍵となる洞察は、DY-ReLUはグローバルコンテキストをハイパー関数にエンコードし、それに応じて断片的に線形活性化関数を適用することである。 dy-reluは静的に比較して計算コストは無視できるが、特に軽量ニューラルネットワークでは表現能力が大幅に向上している。 単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。

関連論文リスト

• Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
  LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。 この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
  論文  参考訳（メタデータ） (2024-08-28T11:12:27Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• A Non-monotonic Smooth Activation Function [4.269446061678759]
  活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。 本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。 分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
  論文  参考訳（メタデータ） (2023-10-16T07:09:47Z)
• ReLU soothes the NTK condition number and accelerates optimization for wide neural networks [9.374151703899047]
  ReLUは、類似したデータを分離し、ニューラル・タンジェント・カーネル(NTK)の条件付けを改善する。 以上の結果から,ReLUの活性化とReLUネットワークの深度は勾配勾配収束率の向上に寄与することが示唆された。
  論文  参考訳（メタデータ） (2023-05-15T17:22:26Z)
• How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer [2.1485350418225244]
  本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。 RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
  論文  参考訳（メタデータ） (2023-03-20T21:05:47Z)
• PAD-Net: An Efficient Framework for Dynamic Networks [72.85480289152719]
  動的ネットワークを実装する際の一般的な実践は、与えられた静的レイヤを完全な動的レイヤに変換することである。 我々は、冗長な動的パラメータを静的なパラメータに変換するために、部分的に動的ネットワーク、すなわちPAD-Netを提案する。 提案手法は,2つの典型的な動的アーキテクチャを用いた大規模実験によって包括的に支持されている。
  論文  参考訳（メタデータ） (2022-11-10T12:42:43Z)
• Level set learning with pseudo-reversible neural networks for nonlinear dimension reduction in function approximation [8.28646586439284]
  本稿では,関数近似のための学習レベルセット(DRiLLS)を用いた次元削減手法を提案する。 提案手法は,高次元の入力変数を高次元のアクティブ変数に効果的に変換する擬似可逆ニューラルネットワーク(PRNN)モジュールである。 PRNNは、RevNetの使用によりNLL法に存在する非線形変換の可逆性制約を緩和するだけでなく、各サンプルの影響を適応的に重み付けし、学習された能動変数に対する関数の感度を制御する。
  論文  参考訳（メタデータ） (2021-12-02T17:25:34Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Dynamic R-CNN: Towards High Quality Object Detection via Dynamic Training [70.2914594796002]
  ラベル割り当て基準と回帰損失関数の形状を調整するための動的R-CNNを提案する。 我々はResNet-50-FPNベースラインを1.9%のAPと5.5%のAP$_90$で改善し、余分なオーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-04-13T15:20:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。