論文の概要: Parametric Variational Linear Units (PVLUs) in Deep Convolutional Networks

• arxiv url: http://arxiv.org/abs/2110.12246v1
• Date: Sat, 23 Oct 2021 15:37:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-31 21:28:13.699914
• Title: Parametric Variational Linear Units (PVLUs) in Deep Convolutional Networks
• Title（参考訳）: 深部畳み込みネットワークにおけるパラメトリック変分線形ユニット(PVLU)
• Authors: Aarush Gupta and Shikhar Ahuja
• Abstract要約: パラメトリック変分線形ユニット(PVLU)は、トレーニング可能な係数を持つ正弦波関数をRectified Linear Unit(RELU)に付加する PVLUは、転送学習の文脈で実装された場合、モデルの一般化と堅牢性を高めることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Rectified Linear Unit is currently a state-of-the-art activation function in deep convolutional neural networks. To combat ReLU's dying neuron problem, we propose the Parametric Variational Linear Unit (PVLU), which adds a sinusoidal function with trainable coefficients to ReLU. Along with introducing nonlinearity and non-zero gradients across the entire real domain, PVLU allows for increased model generalization and robustness when implemented in the context of transfer learning. On a simple, non-transfer sequential CNN, PVLU led to relative error decrease of 16.3% and 11.3% without and with data augmentation, relative to ReLU. PVLU is also tested on transfer learning problems. The VGG-16 and VGG-19 models experience relative error reductions of 9.5% and 10.7% on CIFAR-10, respectively, after the substitution of ReLU with PVLU. When training on Gaussian-filtered CIFAR-10 images, similar improvements are noted for the VGG models. Most notably, PVLU fine tuning allows for relative error reductions up to and exceeding 10% on near state-of-the-art ResNet models for both CIFAR-10 and CIFAR-100.
• Abstract（参考訳）: Rectified Linear Unitは現在、ディープ畳み込みニューラルネットワークにおける最先端のアクティベーション機能である。 ReLUの致死性ニューロン問題に対処するために,ReLUにトレーニング可能な係数を持つ正弦波関数を加えるパラメトリック変分線形ユニット(PVLU)を提案する。 PVLUは、実領域全体にわたる非線形性や非ゼロ勾配を導入するとともに、転送学習の文脈で実装されたモデル一般化とロバスト性を高めることができる。 単純な非トランスファーシーケンシャルCNNでは、PVLUはReLUと比較してデータ拡張なしで16.3%と11.3%の相対誤差を減少させた。 PVLUは、転送学習問題でもテストされている。 VGG-16 と VGG-19 は、それぞれ CIFAR-10 で相対誤差を 9.5% と 10.7% に減らした。 ガウスフィルタCIFAR-10画像のトレーニングでは、VGGモデルにも同様の改良が加えられている。 PVLUの微調整により、CIFAR-10とCIFAR-100の両方の最先端ResNetモデルにおいて、相対誤差を10%以上削減できる。

関連論文リスト

• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference [6.141267142478346]
  本稿では,モデルの浅さを学習するためのモデル最適化手法を提案する。 畳み込みブロックのReLU感度を利用して、ReLU層を除去し、それに続く畳み込み層と先行する畳み込み層を浅いブロックにマージする。
  論文  参考訳（メタデータ） (2023-04-26T04:23:34Z)
• Piecewise Linear Units Improve Deep Neural Networks [0.0]
  活性化機能は、ディープニューラルネットワークの非線形性の中心にある。 現在、多くの実践者は、その単純さと信頼性から、Rectified Linear Unit (ReLU) を好んでいる。 本稿では,ニューラルネットワークの各次元に対して独立に学習可能な適応的ピースワイド線形活性化関数Piecewise Linear Unit(PiLU)を提案する。
  論文  参考訳（メタデータ） (2021-08-02T08:09:38Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• ALReLU: A different approach on Leaky ReLU activation function to improve Neural Networks Performance [0.0]
  古典的ReLUアクティベーション関数(AF)はディープニューラルネットワーク(DNN)に広く応用されている ReLUの一般的な勾配問題は、アカデミーや産業分野での応用に課題をもたらす。 LReLUの変種であるAbsolute Leaky ReLU (ALReLU) AFは、一般的な「ダイングReLU問題」を解決する代替手法として提案されている。
  論文  参考訳（メタデータ） (2020-12-11T06:46:42Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning [0.0]
  Rectified Linear Unit (ReLU)は、ディープラーニングコミュニティでもっとも人気のあるアクティベーション機能である。 本稿では,ReLUの代替としてParametric Flatten-T Swish(PFTS)を紹介する。 PFTSはトレーニング中に高い非線形近似能力を示し、ネットワークの予測性能を改善した。
  論文  参考訳（メタデータ） (2020-11-06T01:50:46Z)
• Semi-supervised Neural Networks solve an inverse problem for modeling Covid-19 spread [61.9008166652035]
  半教師付きニューラルネットワークを用いた新型コロナウイルスの感染拡大について検討した。 我々は、人口の受動的一部がウイルスの動態から分離されていると仮定する。
  論文  参考訳（メタデータ） (2020-10-10T19:33:53Z)
• Logarithmic Regret Bound in Partially Observable Linear Dynamical Systems [91.43582419264763]
  部分的に観測可能な線形力学系におけるシステム同定と適応制御の問題について検討する。 開ループ系と閉ループ系の両方において有限時間保証付きの最初のモデル推定法を提案する。 AdaptOnは、未知の部分観測可能な線形力学系の適応制御において、$textpolylogleft(Tright)$ regretを達成する最初のアルゴリズムであることを示す。
  論文  参考訳（メタデータ） (2020-03-25T06:00:33Z)
• Dynamic ReLU [74.973224160508]
  本稿では、すべてのインプット要素上のハイパー関数によって生成されるパラメータの動的入力である動的ReLU(DY-ReLU)を提案する。 静的に比較すると、DY-ReLUは余分な計算コストは無視できるが、表現能力ははるかに高い。 単にDY-ReLUをMobileNetV2に使用することで、ImageNet分類のトップ-1の精度は72.0%から76.2%に向上し、追加のFLOPは5%に留まった。
  論文  参考訳（メタデータ） (2020-03-22T23:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。