Fugu-MT 論文翻訳(概要): Event-Based Control for Online Training of Neural Networks

論文の概要: Event-Based Control for Online Training of Neural Networks

arxiv url: http://arxiv.org/abs/2003.09503v1
Date: Fri, 20 Mar 2020 21:29:03 GMT
ステータス: 処理完了
システム内更新日: 2022-12-21 22:08:26.462730
Title: Event-Based Control for Online Training of Neural Networks
Title（参考訳）: ニューラルネットワークのオンライントレーニングのためのイベントベース制御
Authors: Zilong Zhao, Sophie Cerf, Bogdan Robu, Nicolas Marchand
Abstract要約: 本稿では,古典アルゴリズムE(Exponential)/PD(Proportional Derivative)-Controlの学習率を調整するために,イベントベースの2つの制御ループを提案する。最初のイベントベースの制御ループは、モデルが最適に近づいているときの学習率の急落を防ぐために実装される。第2のEvent-Basedコントロールループは、学習速度に基づいて、次のデータバッチに切り替えるタイミングを決定する。
参考スコア（独自算出の注目度）: 4.640828141705773
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional Neural Network (CNN) has become the most used method for image classification tasks. During its training the learning rate and the gradient are two key factors to tune for influencing the convergence speed of the model. Usual learning rate strategies are time-based i.e. monotonous decay over time. Recent state-of-the-art techniques focus on adaptive gradient algorithms i.e. Adam and its versions. In this paper we consider an online learning scenario and we propose two Event-Based control loops to adjust the learning rate of a classical algorithm E (Exponential)/PD (Proportional Derivative)-Control. The first Event-Based control loop will be implemented to prevent sudden drop of the learning rate when the model is approaching the optimum. The second Event-Based control loop will decide, based on the learning speed, when to switch to the next data batch. Experimental evaluationis provided using two state-of-the-art machine learning image datasets (CIFAR-10 and CIFAR-100). Results show the Event-Based E/PD is better than the original algorithm (higher final accuracy, lower final loss value), and the Double-Event-BasedE/PD can accelerate the training process, save up to 67% training time compared to state-of-the-art algorithms and even result in better performance.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は画像分類タスクの最もよく使われる手法となっている。そのトレーニングの間、学習速度と勾配はモデルの収束速度に影響を与える2つの重要な要因である。通常の学習率戦略は時間ベースの単調な崩壊である。最近の最先端技術は適応勾配アルゴリズム、すなわちAdamとそのバージョンに焦点を当てている。本稿では,オンライン学習シナリオを考察し,古典的アルゴリズムe(指数)/pd(確率微分)制御の学習速度を調整する2つのイベントベース制御ループを提案する。最初のイベントベースの制御ループは、モデルが最適に近づいているときの学習率の急落を防ぐために実装される。第2のイベントベースの制御ループは、学習速度に基づいて、次のデータバッチに切り替えるタイミングを決定する。実験評価は2つの最先端機械学習画像データセット(CIFAR-10とCIFAR-100)を用いて行われる。その結果、イベントベースのe/pdは元のアルゴリズムよりも優れており(最終精度が高く、最終損失値が低い)、ダブルイベントベースのe/pdはトレーニングプロセスを加速し、最先端のアルゴリズムと比較して最大67%のトレーニング時間を節約できる。

関連論文リスト

Temperature Balancing, Layer-wise Weight Analysis, and Neural Network Training [58.20089993899729]
本稿では,直感的で効果的な階層学習手法であるTempBalanceを提案する。我々は、TempBalanceが通常のSGDと注意深く調整されたスペクトルノルム正規化より著しく優れていることを示す。また、TempBalanceは最先端のメトリクスやスケジューラよりも優れています。
論文参考訳（メタデータ） (2023-12-01T05:38:17Z)
EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文参考訳（メタデータ） (2022-11-17T17:38:55Z)
FastHebb: Scaling Hebbian Training of Deep Neural Networks to ImageNet Level [7.410940271545853]
我々は、Hebbian学習のための効率的でスケーラブルなソリューションであるFastHebbを紹介する。 FastHebbはトレーニングのスピードで、これまでのソリューションを最大50倍のパフォーマンスで上回っている。私たちは初めて、HebbianアルゴリズムをImageNetスケールに持ち込むことができます。
論文参考訳（メタデータ） (2022-07-07T09:04:55Z)
Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
論文参考訳（メタデータ） (2022-06-25T03:02:25Z)
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文参考訳（メタデータ） (2022-05-26T19:01:19Z)
AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
論文参考訳（メタデータ） (2022-03-31T16:21:12Z)
Image reconstruction algorithms in radio interferometry: from handcrafted to learned denoisers [7.1439425093981574]
本稿では,プラグイン・アンド・プレイ方式にヒントを得た,無線干渉計測のための新しい画像再構成アルゴリズムを提案する。このアプローチは、ディープニューラルネットワーク(DNN)をノイズとしてトレーニングすることで、事前の画像モデルを学ぶことで構成される。学習したデノイザをフォワード-バックワード最適化アルゴリズムにプラグインし、デノイザのステップをグラデーション-ディフレッシュなデータ-忠実度ステップで交互に繰り返す単純な反復構造を与える。
論文参考訳（メタデータ） (2022-02-25T20:26:33Z)
An Empirical Analysis of Recurrent Learning Algorithms In Neural Lossy Image Compression Systems [73.48927855855219]
近年のディープラーニングの進歩により、JPEGとJPEG 2000を標準のKodakベンチマークで上回る画像圧縮アルゴリズムが実現している。本稿では,最近の最先端ハイブリッドニューラル圧縮アルゴリズムの大規模比較を行う。
論文参考訳（メタデータ） (2022-01-27T19:47:51Z)
Training Aware Sigmoidal Optimizer [2.99368851209995]
Aware Sigmoidal関数をトレーニングすると、ローカルミニマよりもはるかにサドルロスの風景が表示されます。本研究では,2相自動学習率スケジュールからなるTASO(Training Aware Sigmoidal Function)を提案する。提案手法をAdam、RMS、Adagradなどの一般的な適応学習率スケジュールと比較した。
論文参考訳（メタデータ） (2021-02-17T12:00:46Z)
Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文参考訳（メタデータ） (2021-01-08T18:55:07Z)
Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
論文参考訳（メタデータ） (2020-08-21T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。