Fugu-MT 論文翻訳(概要): Meta-learning with negative learning rates

論文の概要: Meta-learning with negative learning rates

arxiv url: http://arxiv.org/abs/2102.00940v1
Date: Mon, 1 Feb 2021 16:14:14 GMT
ステータス: 処理完了
システム内更新日: 2021-02-05 11:13:41.366958
Title: Meta-learning with negative learning rates
Title（参考訳）: 負の学習率を持つメタラーニング
Authors: Alberto Bernacchia
Abstract要約: ディープラーニングモデルは、よく機能するために大量のデータを必要とします。対象タスクにデータが不足している場合には、類似タスクのトレーニングによって得られた知識を転送して、ターゲットを素早く学習することができる。成功しているアプローチはメタラーニング(メタラーニング)、あるいは、学習が外ループで表されるタスクの分布を学習し、勾配降下の内側ループで学習する学習である。
参考スコア（独自算出の注目度）: 3.42658286826597
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning models require a large amount of data to perform well. When data is scarce for a target task, we can transfer the knowledge gained by training on similar tasks to quickly learn the target. A successful approach is meta-learning, or learning to learn a distribution of tasks, where learning is represented by an outer loop, and to learn by an inner loop of gradient descent. However, a number of recent empirical studies argue that the inner loop is unnecessary and more simple models work equally well or even better. We study the performance of MAML as a function of the learning rate of the inner loop, where zero learning rate implies that there is no inner loop. Using random matrix theory and exact solutions of linear models, we calculate an algebraic expression for the test loss of MAML applied to mixed linear regression and nonlinear regression with overparameterized models. Surprisingly, while the optimal learning rate for adaptation is positive, we find that the optimal learning rate for training is always negative, a setting that has never been considered before. Therefore, not only does the performance increase by decreasing the learning rate to zero, as suggested by recent work, but it can be increased even further by decreasing the learning rate to negative values. These results help clarify under what circumstances meta-learning performs best.
Abstract（参考訳）: ディープラーニングモデルは、うまく機能するために大量のデータを必要とします。対象タスクにデータが不足すると、同様のタスクのトレーニングで得られた知識を転送して、ターゲットをすばやく学習できます。成功しているアプローチはメタラーニング(メタラーニング)、あるいは、学習が外ループで表されるタスクの分布を学習し、勾配降下の内側ループで学習する学習である。しかし、最近の多くの実証研究では、内部ループは不要であり、より単純なモデルは等しく、あるいはより良く機能すると主張している。内部ループの学習速度の関数としてのmamlの性能について検討し,学習速度がゼロである場合,内部ループが存在しないことを示唆する。ランダム行列理論と線形モデルの厳密解を用いて、過剰パラメータモデルを用いた混合線形回帰および非線形回帰に適用するmamlの検定損失に対する代数的表現を計算する。意外なことに、適応のための最適学習率が正である一方で、トレーニングのための最適学習率が常に負であることは、これまで考えられなかった設定である。したがって、最近の研究が示唆しているように、学習率をゼロにすることでパフォーマンスが向上するだけでなく、学習率を負の値に下げることでさらに向上させることができる。これらの結果は,メタラーニングがどのような状況で最善かを明らかにするのに役立つ。

関連論文リスト

Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文参考訳（メタデータ） (2024-10-30T17:20:10Z)
Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文参考訳（メタデータ） (2023-04-09T20:36:13Z)
Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
論文参考訳（メタデータ） (2021-12-02T17:11:33Z)
Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
論文参考訳（メタデータ） (2021-11-20T13:07:55Z)
Learning where to learn: Gradient sparsity in meta and continual learning [4.845285139609619]
学習アルゴリズムがどの重みを変えるかを決定することによって、メタ学習を改善することができることを示す。このプロセスからパターン化されたスパーシリティが出現し、そのパターンは問題ごとの確率に基づいて変化する。その結果、メタ学習が適応可能な特徴を発見できるかどうかの議論が進行中であり、疎勾配降下による学習がメタ学習システムにとって強力な帰納的バイアスであることを示唆している。
論文参考訳（メタデータ） (2021-10-27T12:54:36Z)
Learnability of Learning Performance and Its Application to Data Valuation [11.78594243870616]
ほとんどの機械学習(ML)タスクでは、与えられたデータセットで学習パフォーマンスを評価するには、集中的な計算が必要である。学習性能を効率的に推定する能力は、アクティブラーニング、データ品質管理、データバリュエーションといった幅広いアプリケーションに恩恵をもたらす可能性がある。最近の実証研究では、多くの一般的なMLモデルに対して、少量のサンプルを用いて任意の入力データセットの学習性能を予測するパラメトリックモデルを正確に学習できることが示されている。
論文参考訳（メタデータ） (2021-07-13T18:56:04Z)
Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
論文参考訳（メタデータ） (2021-02-12T22:57:28Z)
Nonlinear Monte Carlo Method for Imbalanced Data Learning [43.17123077368725]
機械学習問題では、予測誤差を用いてモデル性能を評価する。非線形期待理論の枠組みに着想を得て、損失関数の平均値を部分群平均損失の最大値に置き換える。トレーニングステップの少ないSOTAバックボーンモデルよりも優れたパフォーマンスを実現し、基本的な回帰と不均衡な分類タスクに対する堅牢性を向上する。
論文参考訳（メタデータ） (2020-10-27T05:25:09Z)
Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。追加の増量は自己蒸留によって達成できる。我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
論文参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。