論文の概要: General Cyclical Training of Neural Networks
- arxiv url: http://arxiv.org/abs/2202.08835v1
- Date: Thu, 17 Feb 2022 18:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 14:50:07.786187
- Title: General Cyclical Training of Neural Networks
- Title(参考訳): ニューラルネットワークの一般サイクル学習
- Authors: Leslie N. Smith
- Abstract要約: 本稿では,機械学習における「一般サイクルトレーニング」の原理について述べる。
本稿では, 循環重みの崩壊, 循環的バッチサイズ, 循環的焦点損失, 循環的ソフトマックス温度, 循環的データ増大, 循環的勾配クリッピング, 循環的半教師付き学習について紹介する。
本稿では、一般循環学習の概念を定義し、この概念をニューラルネットワークのトレーニングに適用できるいくつかの具体的な方法について論じる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes the principle of "General Cyclical Training" in machine
learning, where training starts and ends with "easy training" and the "hard
training" happens during the middle epochs. We propose several manifestations
for training neural networks, including algorithmic examples (via
hyper-parameters and loss functions), data-based examples, and model-based
examples. Specifically, we introduce several novel techniques: cyclical weight
decay, cyclical batch size, cyclical focal loss, cyclical softmax temperature,
cyclical data augmentation, cyclical gradient clipping, and cyclical
semi-supervised learning. In addition, we demonstrate that cyclical weight
decay, cyclical softmax temperature, and cyclical gradient clipping (as three
examples of this principle) are beneficial in the test accuracy performance of
a trained model. Furthermore, we discuss model-based examples (such as
pretraining and knowledge distillation) from the perspective of general
cyclical training and recommend some changes to the typical training
methodology. In summary, this paper defines the general cyclical training
concept and discusses several specific ways in which this concept can be
applied to training neural networks. In the spirit of reproducibility, the code
used in our experiments is available at \url{https://github.com/lnsmith54/CFL}.
- Abstract(参考訳): 本稿では,機械学習における「一般循環型トレーニング」の原則について述べる。
ニューラルネットワークのトレーニングには,アルゴリズムによる例(ハイパーパラメータとロス関数),データに基づく例,モデルに基づく例など,いくつかのマニフェストを提案する。
具体的には, 循環量減少, 循環的バッチサイズ, 循環的焦点損失, 循環的ソフトマックス温度, 循環的データ増大, 循環的勾配クリッピング, 循環的半教師付き学習といった新しい手法を紹介する。
さらに, 実験モデルの試験精度向上には, 周期的重量減衰, 周期的軟度温度, 循環的勾配クリッピング(この原理の3つの例)が有用であることを示した。
さらに, 一般循環学習の観点から, モデルに基づく例(事前学習や知識蒸留など)を考察し, 典型的な学習手法の変更を推奨する。
本稿では、一般循環学習の概念を定義し、この概念をニューラルネットワークのトレーニングに適用できるいくつかの具体的な方法について論じる。
再現性の精神では、我々の実験で使われたコードは \url{https://github.com/lnsmith54/CFL} で入手できる。
関連論文リスト
- Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳(メタデータ) (2023-08-18T13:20:08Z) - Understanding the Initial Condensation of Convolutional Neural Networks [6.451914896767135]
2層畳み込みニューラルネットワークのカーネルは、トレーニング中に1つまたは数つの方向に収束する。
この研究は、特殊な構造を持つニューラルネットワークが示す非線形トレーニングの振る舞いをより深く理解するための一歩である。
論文 参考訳(メタデータ) (2023-05-17T05:00:47Z) - Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。
本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
論文 参考訳(メタデータ) (2022-06-15T18:35:16Z) - Fast Benchmarking of Accuracy vs. Training Time with Cyclic Learning
Rates [15.974258542078307]
本稿では,1回のトレーニングにおいて,乗法的循環学習率スケジュールを用いてトレードオフ曲線を構築する方法を示す。
我々は,Blurpool,Channels Last,Label Smoothing,MixUpといったトレーニング手法の組み合わせに対して,周期的トレードオフ曲線を生成する。
論文 参考訳(メタデータ) (2022-06-02T02:12:13Z) - Unsupervised Restoration of Weather-affected Images using Deep Gaussian
Process-based CycleGAN [92.15895515035795]
本稿では,CycleGANに基づくディープネットワークの監視手法について述べる。
我々は,より効果的なトレーニングにつながるCycleGANのトレーニングに新たな損失を導入し,高品質な再構築を実現した。
提案手法は, 脱落, 脱落, 脱落といった様々な修復作業に効果的に適用できることを実証する。
論文 参考訳(メタデータ) (2022-04-23T01:30:47Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳(メタデータ) (2022-03-29T21:18:47Z) - Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。
本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。
提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
論文 参考訳(メタデータ) (2021-09-13T11:29:04Z) - Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。
学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文 参考訳(メタデータ) (2020-07-25T13:23:37Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳(メタデータ) (2020-06-02T23:38:35Z) - Graph Learning with Loss-Guided Training [16.815638149823744]
sc DeepWalkの先駆的なノード埋め込み手法の新たな領域において、損失誘導型トレーニングについて検討する。
データセットの豊富なコレクションに対する実験的な評価は,総合的なトレーニングと総合計算の両面で,ベースライン静的メソッドよりも大幅に加速されたことを示す。
論文 参考訳(メタデータ) (2020-05-31T08:03:06Z) - Feature Purification: How Adversarial Training Performs Robust Deep
Learning [66.05472746340142]
ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。
この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
論文 参考訳(メタデータ) (2020-05-20T16:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。