論文の概要: A ReLU Dense Layer to Improve the Performance of Neural Networks

• arxiv url: http://arxiv.org/abs/2010.13572v1
• Date: Thu, 22 Oct 2020 11:56:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:57:42.538810
• Title: A ReLU Dense Layer to Improve the Performance of Neural Networks
• Title（参考訳）: ニューラルネットワークの性能を向上させるためのrelu密層
• Authors: Alireza M. Javid, Sandipan Das, Mikael Skoglund, and Saikat Chatterjee
• Abstract要約: トレーニングされたニューラルネットワークの性能を向上させるために,ReDenseをシンプルかつ低複雑性な方法として提案する。 実験により、ReDenseは様々なニューラルネットワークアーキテクチャのトレーニングおよびテスト性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 40.2470651460466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose ReDense as a simple and low complexity way to improve the performance of trained neural networks. We use a combination of random weights and rectified linear unit (ReLU) activation function to add a ReLU dense (ReDense) layer to the trained neural network such that it can achieve a lower training loss. The lossless flow property (LFP) of ReLU is the key to achieve the lower training loss while keeping the generalization error small. ReDense does not suffer from vanishing gradient problem in the training due to having a shallow structure. We experimentally show that ReDense can improve the training and testing performance of various neural network architectures with different optimization loss and activation functions. Finally, we test ReDense on some of the state-of-the-art architectures and show the performance improvement on benchmark datasets.
• Abstract（参考訳）: トレーニングされたニューラルネットワークの性能を向上させるために,ReDenseをシンプルかつ低複雑性な方法として提案する。 ランダムウェイトと整流線形単位(relu)活性化関数の組み合わせを用いて,学習ニューラルネットワークにrelu密(redense)層を付加することにより,トレーニング損失の低減を図る。 ReLUの損失フロー特性(LFP)は、一般化誤差を小さく保ちながら、低いトレーニング損失を達成する鍵となる。 ReDenseは、浅い構造を持つため、トレーニング中の勾配問題に悩まされることはない。 ReDenseは、最適化損失とアクティベーション関数の異なる様々なニューラルネットワークアーキテクチャのトレーニングおよびテスト性能を向上させることができることを示す。 最後に、ReDenseを最先端アーキテクチャのいくつかでテストし、ベンチマークデータセットのパフォーマンス改善を示す。

関連論文リスト

• A Coefficient Makes SVRG Effective [55.104068027239656]
  SVRG (Variance Reduced Gradient) は理論的に説得力のある最適化手法である。 本研究では,実世界のニューラルネットワークを最適化するSVRGの可能性を示す。 分析の結果,より深いネットワークでは,SVRGの分散低減項の強度は,トレーニングが進むにつれて小さくなり,低下することが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-09T18:47:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• The Impact of Reinitialization on Generalization in Convolutional Neural Networks [3.462210753108297]
  12のベンチマーク画像分類データセットにまたがる複数の畳み込みアーキテクチャにおける異なる再初期化手法の影響について検討する。 本稿では,従来の手法よりも優れた階層的再初期化アルゴリズムを提案する。 我々のメッセージは、ボトムアップ階層の再初期化を用いて、小さなデータセットに対して畳み込みニューラルネットワークの精度を改善することができるということだ。
  論文  参考訳（メタデータ） (2021-09-01T09:25:57Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
  進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。 この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-03-25T17:43:04Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Accelerated MRI with Un-trained Neural Networks [29.346778609548995]
  トレーニングなしニューラルネットワークを用いた高速化MRIにおける再構成問題に対処する。 本稿では,Deep Decoderのバリエーションに基づいて,高度に最適化された未学習リカバリ手法を提案する。 トレーニングされていないアルゴリズムはベースライントレーニングされたニューラルネットワークと同じような性能を達成するが、最先端トレーニングされたネットワークはトレーニングされていないニューラルネットワークよりも優れる。
  論文  参考訳（メタデータ） (2020-07-06T00:01:25Z)
• Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks [15.329684157845872]
  我々は、ディープニューラルネットワークモデルのトレーニングを改善するために、新しい振り返り損失を導入する。 レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップでパラメータ状態を最適なパラメータ状態にプッシュします。 簡単なアイデアではあるが、我々はこの手法を解析し、ドメイン全体にわたる包括的な実験を行う。
  論文  参考訳（メタデータ） (2020-06-24T10:16:36Z)
• Multi-fidelity Neural Architecture Search with Knowledge Distillation [69.09782590880367]
  ニューラルアーキテクチャ探索のためのベイズ的多重忠実度法 MF-KD を提案する。 知識蒸留は損失関数に追加され、ネットワークが教師ネットワークを模倣することを強制する用語となる。 このような変化した損失関数を持ついくつかのエポックに対するトレーニングは、ロジスティックな損失を持ついくつかのエポックに対するトレーニングよりも、より優れたニューラルアーキテクチャの選択につながることを示す。
  論文  参考訳（メタデータ） (2020-06-15T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。