論文の概要: Memory-Reduced Meta-Learning with Guaranteed Convergence

• arxiv url: http://arxiv.org/abs/2412.12030v1
• Date: Mon, 16 Dec 2024 17:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:31.913455
• Title: Memory-Reduced Meta-Learning with Guaranteed Convergence
• Title（参考訳）: コンバージェンスを保証したメモリ再生メタラーニング
• Authors: Honglin Yang, Ji Ma, Xiao Yu,
• Abstract要約: 本稿では,履歴パラメータ/勾配の使用を回避し,各イテレーションにおけるメモリコストを大幅に削減するメタ学習アルゴリズムを提案する。 メタラーニングベンチマーク実験の結果,提案アルゴリズムの有効性が確認された。
• 参考スコア（独自算出の注目度）: 7.306367313570251
• License:
• Abstract: The optimization-based meta-learning approach is gaining increased traction because of its unique ability to quickly adapt to a new task using only small amounts of data. However, existing optimization-based meta-learning approaches, such as MAML, ANIL and their variants, generally employ backpropagation for upper-level gradient estimation, which requires using historical lower-level parameters/gradients and thus increases computational and memory overhead in each iteration. In this paper, we propose a meta-learning algorithm that can avoid using historical parameters/gradients and significantly reduce memory costs in each iteration compared to existing optimization-based meta-learning approaches. In addition to memory reduction, we prove that our proposed algorithm converges sublinearly with the iteration number of upper-level optimization, and the convergence error decays sublinearly with the batch size of sampled tasks. In the specific case in terms of deterministic meta-learning, we also prove that our proposed algorithm converges to an exact solution. Moreover, we quantify that the computational complexity of the algorithm is on the order of $\mathcal{O}(\epsilon^{-1})$, which matches existing convergence results on meta-learning even without using any historical parameters/gradients. Experimental results on meta-learning benchmarks confirm the efficacy of our proposed algorithm.
• Abstract（参考訳）: 最適化ベースのメタ学習アプローチは、少量のデータのみを使用して新しいタスクに迅速に適応できるユニークな能力のために、勢いを増している。 しかし、MAMLやANILなどの既存の最適化ベースのメタラーニングアプローチは、一般に、従来の低レベルパラメータ/勾配を使用する必要がある上層勾配推定のバックプロパゲーションを採用し、各イテレーションにおける計算とメモリオーバーヘッドを増大させる。 本稿では,従来の最適化に基づくメタラーニング手法と比較して,過去のパラメータや勾配を回避し,各イテレーションにおけるメモリコストを大幅に削減できるメタラーニングアルゴリズムを提案する。 メモリ削減に加えて,提案アルゴリズムは上層最適化の繰り返し数にサブ線形収束し,収束誤差はサンプルタスクのバッチサイズにサブ線形収束することを示した。 決定論的メタラーニングの観点からは,提案アルゴリズムが正確な解に収束することを示す。 さらに,アルゴリズムの計算複雑性を$\mathcal{O}(\epsilon^{-1})$の順に定量化する。 メタラーニングベンチマーク実験の結果,提案アルゴリズムの有効性が確認された。

関連論文リスト

• Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
  モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。 最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。 外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:03Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Meta Learning Black-Box Population-Based Optimizers [0.0]
  人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。 メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T08:13:25Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。