論文の概要: Meta-Learning with Adaptive Hyperparameters

• arxiv url: http://arxiv.org/abs/2011.00209v2
• Date: Tue, 8 Dec 2020 06:53:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 04:28:54.121915
• Title: Meta-Learning with Adaptive Hyperparameters
• Title（参考訳）: 適応型ハイパーパラメータを用いたメタラーニング
• Authors: Sungyong Baik, Myungsub Choi, Janghoon Choi, Heewon Kim, Kyoung Mu Lee
• Abstract要約: 我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
• 参考スコア（独自算出の注目度）: 55.182841228303225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite its popularity, several recent works question the effectiveness of MAML when test tasks are different from training tasks, thus suggesting various task-conditioned methodology to improve the initialization. Instead of searching for better task-aware initialization, we focus on a complementary factor in MAML framework, inner-loop optimization (or fast adaptation). Consequently, we propose a new weight update rule that greatly enhances the fast adaptation process. Specifically, we introduce a small meta-network that can adaptively generate per-step hyperparameters: learning rate and weight decay coefficients. The experimental results validate that the Adaptive Learning of hyperparameters for Fast Adaptation (ALFA) is the equally important ingredient that was often neglected in the recent few-shot learning approaches. Surprisingly, fast adaptation from random initialization with ALFA can already outperform MAML.
• Abstract（参考訳）: その人気にもかかわらず、最近のいくつかの研究は、テストタスクがトレーニングタスクと異なる場合、mamlの有効性に疑問を呈している。 タスク認識の初期化を改善する代わりに、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 そこで本研究では,高速適応プロセスを大幅に向上させる新しい重み付け更新ルールを提案する。 具体的には,ステップ毎のハイパーパラメータを適応的に生成可能な,小さなメタネットワークを提案する。 実験の結果, 高速適応のためのハイパーパラメータの適応学習(alfa)は, 近年のマイノリティ学習においてしばしば無視される重要な要素であることがわかった。 驚くべきことに、ALFAによるランダム初期化による高速適応は、既にMAMLよりも優れています。

関連論文リスト

• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• Faster Optimization-Based Meta-Learning Adaptation Phase [0.0]
  適応フェーズ中にネットワーク内で更新される重量を制限するLambdaパターンを導入する。 実験の結果, 以下の領域でMAML法を大幅に改善できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-13T06:57:17Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Multi-Task Meta-Learning Modification with Stochastic Approximation [0.7734726150561089]
  数ショットの学習問題は、メタ学習アルゴリズムの主要なベンチマークの1つである。 本稿では、トレーニング中にマルチタスクアプローチをとる標準的なメタ学習パイプラインの修正について検討する。 提案手法は,共通損失関数における複数のメタ学習タスクの情報の同時利用を行う。 これらの重みの適切な最適化は、モデル全体のトレーニングに大きな影響を与え、テスト時間タスクの品質を改善する可能性がある。
  論文  参考訳（メタデータ） (2021-10-25T18:11:49Z)
• Robust MAML: Prioritization task buffer with adaptive learning process for model-agnostic meta-learning [15.894925018423665]
  モデル非依存メタラーニング(MAML)は、最先端のメタラーニングアルゴリズムである。 本稿では適応型学習方式と優先順位付けタスクバッファに基づくより堅牢なMAMLを提案する。 メタ強化学習環境の実験結果は、実質的なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2021-03-15T09:34:34Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Performance-Weighed Policy Sampling for Meta-Reinforcement Learning [1.77898701462905]
  強化モデル非依存メタラーニング(E-MAML)は、少数のトレーニング例からポリシー関数の高速収束を生成する。 E-MAMLは、以前のタスクの環境で学んだ一連のポリシーパラメータを保持する。 E-MAMLを強化学習(RL)ベースのオンラインフォールトトレラント制御スキームの開発に適用する。
  論文  参考訳（メタデータ） (2020-12-10T23:08:38Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。