論文の概要: EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization

• arxiv url: http://arxiv.org/abs/2106.10575v1
• Date: Sat, 19 Jun 2021 21:51:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:42:24.404228
• Title: EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization
• Title（参考訳）: EvoGrad: 効率的なグラディエントベースメタラーニングとハイパーパラメータ最適化
• Authors: Ondrej Bohdal, Yongxin Yang, Timothy Hospedales
• Abstract要約: EvoGradはメタラーニングの新しいアプローチで、進化的手法を駆使して、より効率的なハイパーグラディエント計算を行う。 我々はEvoGradを2つのメタ学習アプリケーション、すなわち機能的変換を伴うクロスドメイン・ショットラーニングとMetaWeightNetによるノイズの多いラベルラーニングで評価した。
• 参考スコア（独自算出の注目度）: 40.44580012160914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based meta-learning and hyperparameter optimization have seen significant progress recently, enabling practical end-to-end training of neural networks together with many hyperparameters. Nevertheless, existing approaches are relatively expensive as they need to compute second-order derivatives and store a longer computational graph. This cost prevents scaling them to larger network architectures. We present EvoGrad, a new approach to meta-learning that draws upon evolutionary techniques to more efficiently compute hypergradients. EvoGrad estimates hypergradient with respect to hyperparameters without calculating second-order gradients, or storing a longer computational graph, leading to significant improvements in efficiency. We evaluate EvoGrad on two substantial recent meta-learning applications, namely cross-domain few-shot learning with feature-wise transformations and noisy label learning with MetaWeightNet. The results show that EvoGrad significantly improves efficiency and enables scaling meta-learning to bigger CNN architectures such as from ResNet18 to ResNet34.
• Abstract（参考訳）: 勾配に基づくメタラーニングとハイパーパラメータ最適化が最近大きく進歩し、多くのハイパーパラメータとともにニューラルネットワークの実践的なエンドツーエンドトレーニングを可能にした。 しかしながら、既存のアプローチは2階微分を計算し、より長い計算グラフを保存する必要があるため、比較的高価である。 このコストは、より大きなネットワークアーキテクチャへのスケールを妨げる。 EvoGradはメタラーニングの新しいアプローチで、進化的手法を駆使して、より効率的なハイパーグラディエント計算を行う。 evogradは2次勾配を計算せずにハイパーパラメータに関して超勾配を推定し、計算グラフを長く保存することで効率が大幅に向上した。 本稿では,最近のメタラーニングアプリケーションである機能変換によるクロスドメイン・マイノショット学習と,metaweightnetを用いたノイズの多いラベル学習について,evogradを評価する。 その結果、EvoGradは効率を大幅に改善し、ResNet18やResNet34といった大規模CNNアーキテクチャへのメタ学習のスケーリングを可能にした。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Massive Dimensions Reduction and Hybridization with Meta-heuristics in Deep Learning [0.24578723416255746]
  ヒストグラムに基づく微分進化(HBDE)は、パラメータを最適化するために勾配に基づくアルゴリズムと勾配のないアルゴリズムをハイブリダイズする。 HBDEは、CIFAR-10とCIFAR-100データセットに基づいて評価されたベースライン勾配と親勾配のないDEMアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2024-08-13T20:28:20Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Neuroevolution of Recurrent Architectures on Control Tasks [3.04585143845864]
  並列に並列な進化的アルゴリズムを実装し、19のOpenAI Gym状態に基づく強化学習制御タスクで実験を行う。 動的エージェントは, パラメータの桁数を桁違いに減らしながら, 勾配に基づくエージェントの性能に適合するか, 上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-03T16:29:18Z)
• Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
  本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。 メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。 我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
  論文  参考訳（メタデータ） (2023-02-01T17:32:16Z)
• GradMax: Growing Neural Networks using Gradient Information [22.986063120002353]
  本稿では,学習中に学習内容に影響を与えることなく新たなニューロンを付加し,トレーニングのダイナミクスを改良する手法を提案する。 この手法をGradMax(GradMax)と呼び、様々な視覚タスクやアーキテクチャにおいてその効果を実証する。
  論文  参考訳（メタデータ） (2022-01-13T18:30:18Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。