論文の概要: Regularized Evolutionary Population-Based Training

• arxiv url: http://arxiv.org/abs/2002.04225v4
• Date: Wed, 21 Jul 2021 04:04:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:09:07.389079
• Title: Regularized Evolutionary Population-Based Training
• Title（参考訳）: 正規化進化的人口ベーストレーニング
• Authors: Jason Liang, Santiago Gonzalez, Hormoz Shahrzad, and Risto Miikkulainen
• Abstract要約: 本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Population-Based Training)アルゴリズムを提案する。 EPBTは画像分類ベンチマークを高速かつ正確に学習する。
• 参考スコア（独自算出の注目度）: 11.624954122221562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metalearning of deep neural network (DNN) architectures and hyperparameters has become an increasingly important area of research. At the same time, network regularization has been recognized as a crucial dimension to effective training of DNNs. However, the role of metalearning in establishing effective regularization has not yet been fully explored. There is recent evidence that loss-function optimization could play this role, however it is computationally impractical as an outer loop to full training. This paper presents an algorithm called Evolutionary Population-Based Training (EPBT) that interleaves the training of a DNN's weights with the metalearning of loss functions. They are parameterized using multivariate Taylor expansions that EPBT can directly optimize. Such simultaneous adaptation of weights and loss functions can be deceptive, and therefore EPBT uses a quality-diversity heuristic called Novelty Pulsation as well as knowledge distillation to prevent overfitting during training. On the CIFAR-10 and SVHN image classification benchmarks, EPBT results in faster, more accurate learning. The discovered hyperparameters adapt to the training process and serve to regularize the learning task by discouraging overfitting to the labels. EPBT thus demonstrates a practical instantiation of regularization metalearning based on simultaneous training.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)アーキテクチャとハイパーパラメータのメタラーニングは、ますます重要な研究領域になりつつある。 同時に、ネットワークの正規化はDNNの効果的なトレーニングの重要な要素として認識されている。 しかし、効果的な正規化を確立するためのメタラーニングの役割はまだ十分に検討されていない。 損失関数最適化がこの役割を果たすという最近の証拠があるが、完全な訓練の外側ループとして計算的に非現実的である。 本稿では、DNNの重みのトレーニングと損失関数のメタラーニングをインターリーブするEPBT(Evolutionary Population-Based Training)アルゴリズムを提案する。 これらはEPBTが直接最適化できる多変量テイラー拡張を用いてパラメータ化される。 このような重みと損失関数の同時適応は欺くことができるため、EPBTはノベルティ・パルセーションと呼ばれる品質多様性のヒューリスティックと知識蒸留を用いてトレーニング中の過度な適合を防ぐ。 CIFAR-10とSVHN画像分類ベンチマークでは、EPBTはより高速で正確な学習をもたらす。 発見されたハイパーパラメータはトレーニングプロセスに適応し、ラベルへの過度な適合を回避して学習タスクを規則化する。 EPBTは同時学習に基づく正規化メタラーニングの実践的インスタンス化を示す。

関連論文リスト

• Comprehensive Online Training and Deployment for Spiking Neural Networks [40.255762156745405]
  スパイキングニューラルネットワーク(SNN)は、人工知能(AI)の今後の発展において大きな可能性を秘めていると考えられている 現在提案されているオンライントレーニング手法は,時間依存勾配の不分離問題に対処できない。 浮動小数点スパイクと二乗シナプス重みに基づく先進的なスパイクモデル群であるEM-PFモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-10T02:39:22Z)
• Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers [107.3726071306935]
  そこで我々は,SMoE-Dropoutというプラグイン・アンド・プレイ・トレーニング・フレームワークを提案する。 SMoE-Dropoutはランダムで固定されたルータネットワークで構成され、エキスパートを活性化し、トレーニングが進むにつれて、アクティベートされたエキスパート数を徐々に増加させる。 本実験では,SMoE-Dropout の高密度トレーニングベースラインと等価パラメータ数との比較により,SMoE-Dropout の優れた性能と計算精度を実証した。
  論文  参考訳（メタデータ） (2023-03-02T22:12:51Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。