論文の概要: Improving Neural Network Learning Through Dual Variable Learning Rates

• arxiv url: http://arxiv.org/abs/2002.03428v3
• Date: Tue, 9 Feb 2021 21:22:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 14:15:36.364290
• Title: Improving Neural Network Learning Through Dual Variable Learning Rates
• Title（参考訳）: デュアル変数学習率によるニューラルネットワーク学習の改善
• Authors: Elizabeth Liner, Risto Miikkulainen
• Abstract要約: 本稿では、DVLR(Dual Variable Learning Rates)というニューラルネットワークの新しいトレーニング手法を紹介し、評価する。 行動心理学からの洞察に基づいて、二重学習率は、正しい反応と間違った反応を異なる方法で強調するために使用される。 結果は、DVLRがニューラルネットワークモデルをトレーニングするための、有望で心理的に動機づけられたテクニックであることを証明して、精度を一貫して改善していることを示唆している。
• 参考スコア（独自算出の注目度）: 16.8615211682877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces and evaluates a novel training method for neural networks: Dual Variable Learning Rates (DVLR). Building on insights from behavioral psychology, the dual learning rates are used to emphasize correct and incorrect responses differently, thereby making the feedback to the network more specific. Further, the learning rates are varied as a function of the network's performance, thereby making it more efficient. DVLR was implemented on three types of networks: feedforward, convolutional, and residual, and two domains: MNIST and CIFAR-10. The results suggest a consistently improved accuracy, demonstrating that DVLR is a promising, psychologically motivated technique for training neural network models.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの新しいトレーニング手法であるDual Variable Learning Rates(DVLR)を紹介し,評価する。 行動心理学からの洞察に基づいて、デュアルラーニングレートは、正しい反応と間違った反応を異なる方法で強調するために使用され、ネットワークへのフィードバックをより具体的にします。 さらに、ネットワークの性能の関数として学習率を変化させ、より効率的にする。 DVLRは、フィードフォワード、畳み込み、残余の3種類のネットワークと、MNISTとCIFAR-10の2つのドメインで実装された。 結果は、DVLRがニューラルネットワークモデルをトレーニングするための有望で心理的に動機づけられたテクニックであることを示す。

関連論文リスト

• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Breaking the Architecture Barrier: A Method for Efficient Knowledge Transfer Across Networks [0.0]
  本稿では,異なるアーキテクチャのニューラルネットワーク間でパラメータを転送する手法を提案する。 我々の手法はDPIATと呼ばれ、動的プログラミングを用いてアーキテクチャ間のブロックとレイヤをマッチングし、パラメータを効率的に転送する。 ImageNetの実験では,50時間後の平均1.6倍の検証精度が向上した。
  論文  参考訳（メタデータ） (2022-12-28T17:35:41Z)
• Multirate Training of Neural Networks [0.0]
  視覚およびNLPにおける様々な伝達学習アプリケーションに対して、ほぼ半分の時間でディープニューラルネットワークを微調整できることを示す。 本稿では,異なる時間スケールで全ネットワークをトレーニングすることで,データに存在するさまざまな特徴を同時に学習するマルチレート手法を提案する。
  論文  参考訳（メタデータ） (2021-06-20T22:44:55Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Deep Convolutional Neural Networks: A survey of the foundations, selected improvements, and some current applications [0.0]
  本稿では,CNN(Convolutional Neural Networks)という,そのような手法を提示し,検討する。 CNNは、畳み込みと呼ばれる特別な線形演算を使用するディープニューラルネットワークである。 本稿では、実際に非常に効果的であることが証明された畳み込みの2つの応用について論じる。
  論文  参考訳（メタデータ） (2020-11-25T19:03:23Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。