論文の概要: Meta-Learning with Adjoint Methods

• arxiv url: http://arxiv.org/abs/2110.08432v1
• Date: Sat, 16 Oct 2021 01:18:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 19:01:00.138133
• Title: Meta-Learning with Adjoint Methods
• Title（参考訳）: 随伴手法によるメタラーニング
• Authors: Shibo Li, Zheng Wang, Akil Narayan, Robert Kirby, Shandian Zhe
• Abstract要約: メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。 本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。 人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
• 参考スコア（独自算出の注目度）: 16.753336086160598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model Agnostic Meta-Learning (MAML) is widely used to find a good initialization for a family of tasks. Despite its success, a critical challenge in MAML is to calculate the gradient w.r.t the initialization of a long training trajectory for the sampled tasks, because the computation graph can rapidly explode and the computational cost is very expensive. To address this problem, we propose Adjoint MAML (A-MAML). We view gradient descent in the inner optimization as the evolution of an Ordinary Differential Equation (ODE). To efficiently compute the gradient of the validation loss w.r.t the initialization, we use the adjoint method to construct a companion, backward ODE. To obtain the gradient w.r.t the initialization, we only need to run the standard ODE solver twice -- one is forward in time that evolves a long trajectory of gradient flow for the sampled task; the other is backward and solves the adjoint ODE. We need not create or expand any intermediate computational graphs, adopt aggressive approximations, or impose proximal regularizers in the training loss. Our approach is cheap, accurate, and adaptable to different trajectory lengths. We demonstrate the advantage of our approach in both synthetic and real-world meta-learning tasks.
• Abstract（参考訳）: Model Agnostic Meta-Learning (MAML) は、タスクのファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、計算グラフが急速に爆発し、計算コストが非常に高価であるため、サンプリングされたタスクに対する長い訓練軌道の初期化の勾配を計算することである。 この問題に対処するため,Adjoint MAML (A-MAML)を提案する。 我々は、内部最適化における勾配降下を通常の微分方程式(ode)の進化と考える。 初期化による検証損失の勾配を効率よく計算するために、アジョイント法を用いて、共役な後向きODEを構築する。 初期化の勾配w.r.tを得るには、標準ODEソルバを2回だけ実行する必要がある -- 一つは、サンプリングされたタスクの勾配フローの長い軌跡を進化させる前向きな時間であり、もう一つは後ろ向きで、随伴ODEを解く。 我々は、中間計算グラフの作成や拡張、アグレッシブ近似の採用、あるいはトレーニング損失に近似正則化を課す必要はない。 われわれのアプローチは安価で正確で、異なる軌道長に適応できる。 合成および実世界のメタ学習における我々のアプローチの利点を実証する。

関連論文リスト

• Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
  モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。 最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。 外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
  論文  参考訳（メタデータ） (2024-11-01T07:05:03Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
  深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。 近似MUは大規模モデルの実用的手法である。 本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
  論文  参考訳（メタデータ） (2024-09-29T15:17:33Z)
• Flow Priors for Linear Inverse Problems via Iterative Corrupted Trajectory Matching [35.77769905072651]
  本稿では,MAP推定器を効率的に近似する反復アルゴリズムを提案し,様々な線形逆問題の解法を提案する。 本アルゴリズムは,MAPの目的を局所MAP'の目的の和で近似できるという観測によって数学的に正当化される。 我々は,超解法,デブロアリング,インペイント,圧縮センシングなど,様々な線形逆問題に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-05-29T06:56:12Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
  一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。 本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
  論文  参考訳（メタデータ） (2020-04-30T01:50:37Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。