論文の概要: Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML

• arxiv url: http://arxiv.org/abs/2406.10559v1
• Date: Sat, 15 Jun 2024 08:37:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 23:53:14.313712
• Title: Grad-Instructor: Universal Backpropagation with Explainable Evaluation Neural Networks for Meta-learning and AutoML
• Title（参考訳）: Grad-Instructor:メタラーニングとオートMLのための説明可能な評価ニューラルネットワークによるユニバーサルバックプロパゲーション
• Authors: Ryohei Ino,
• Abstract要約: 評価ニューラルネットワーク(ENN)は、ターゲットネットワークの性能を予測するために、深層強化学習を通じて訓練される。 ENNは、バックプロパゲーション中に追加評価機能として機能する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel method for autonomously enhancing deep neural network training. My approach employs an Evaluation Neural Network (ENN) trained via deep reinforcement learning to predict the performance of the target network. The ENN then works as an additional evaluation function during backpropagation. Computational experiments with Multi-Layer Perceptrons (MLPs) demonstrate the method's effectiveness. By processing input data at 0.15^2 times its original resolution, the ENNs facilitated efficient inference. Results indicate that MLPs trained with the proposed method achieved a mean test accuracy of 93.02%, which is 2.8% higher than those trained solely with conventional backpropagation or with L1 regularization. The proposed method's test accuracy is comparable to networks initialized with He initialization while reducing the difference between test and training errors. These improvements are achieved without increasing the number of epochs, thus avoiding the risk of overfitting. Additionally, the proposed method dynamically adjusts gradient magnitudes according to the training stage. The optimal ENN for enhancing MLPs can be predicted, reducing the time spent exploring optimal training methodologies. The explainability of ENNs is also analyzed using Grad-CAM, demonstrating their ability to visualize evaluation bases and supporting the Strong Lottery Ticket hypothesis.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークトレーニングを自律的に強化する新しい手法を提案する。 私のアプローチでは、ターゲットネットワークの性能を予測するために、深い強化学習を通じてトレーニングされた評価ニューラルネットワーク(ENN)を使用します。 ENNは、バックプロパゲーション中に追加評価機能として機能する。 MLP(Multi-Layer Perceptrons)を用いた計算実験により,本手法の有効性が示された。 入力データを元の0.15^2の解像度で処理することで、ENNは効率的な推論を可能にした。 その結果,提案手法でトレーニングしたMPPは,従来のバックプロパゲーション法やL1正則化法に比べて平均93.02%の精度で2.8%高い値を示した。 提案手法のテスト精度は,Heの初期化で初期化したネットワークに匹敵するが,テストエラーとトレーニングエラーの差は小さくなる。 これらの改善はエポックの数を増やすことなく達成され、過度に適合するリスクを避ける。 さらに,本手法はトレーニング段階に応じて動的に勾配の等級を調整する。 MLPの強化のための最適EMNは予測可能であり、最適トレーニング手法の探索に要する時間を短縮することができる。 評価ベースを視覚化し、Strong Lottery Ticket仮説をサポートする能力を示す。

関連論文リスト

• A Contrastive Symmetric Forward-Forward Algorithm (SFFA) for Continual Learning Tasks [7.345136916791223]
  フォワードフォワードアルゴリズム(FFA)は、ニューラルネットワーク学習における従来のバックプロパゲーションアルゴリズムの代替として、最近勢いを増している。 この研究は、各層を正および負のニューロンに分割するオリジナルのFFAの新たな修正であるSymmetric Forward-Forward Algorithm (SFFA)を提案する。
  論文  参考訳（メタデータ） (2024-09-11T16:21:44Z)
• Enhancing Deep Neural Network Training Efficiency and Performance through Linear Prediction [0.0]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンや自然言語処理など、さまざまな分野で大きな成功を収めている。 本稿では,DNNの学習効率を最適化する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-17T03:11:30Z)
• KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
  深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。 我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。 本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
  論文  参考訳（メタデータ） (2023-10-16T06:19:29Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Gradient-Free Neural Network Training via Synaptic-Level Reinforcement Learning [0.0]
  学習を実現する特定の脳領域に、一貫性のあるシナプスレベルの学習メカニズムが存在すると広く信じられている。 本稿では,単純なシナプスレベルの学習ポリシーを生成し,適用するための強化学習に基づくアルゴリズムを提案する。 勾配への頑丈さと依存の欠如は、困難で微分の難しいニューラルネットワークを訓練するための新しいテクニックの扉を開く。
  論文  参考訳（メタデータ） (2021-05-29T22:26:18Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)
• A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
  本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。 画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-15T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。