論文の概要: Meta-Learning with Self-Improving Momentum Target

• arxiv url: http://arxiv.org/abs/2210.05185v1
• Date: Tue, 11 Oct 2022 06:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:48:06.563028
• Title: Meta-Learning with Self-Improving Momentum Target
• Title（参考訳）: 自己改善型モーメントターゲットによるメタラーニング
• Authors: Jihoon Tack and Jongjin Park and Hankook Lee and Jaeho Lee and Jinwoo Shin
• Abstract要約: メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 72.98879709228981
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The idea of using a separately trained target model (or teacher) to improve the performance of the student model has been increasingly popular in various machine learning domains, and meta-learning is no exception; a recent discovery shows that utilizing task-wise target models can significantly boost the generalization performance. However, obtaining a target model for each task can be highly expensive, especially when the number of tasks for meta-learning is large. To tackle this issue, we propose a simple yet effective method, coined Self-improving Momentum Target (SiMT). SiMT generates the target model by adapting from the temporal ensemble of the meta-learner, i.e., the momentum network. This momentum network and its task-specific adaptations enjoy a favorable generalization performance, enabling self-improving of the meta-learner through knowledge distillation. Moreover, we found that perturbing parameters of the meta-learner, e.g., dropout, further stabilize this self-improving process by preventing fast convergence of the distillation loss during meta-training. Our experimental results demonstrate that SiMT brings a significant performance gain when combined with a wide range of meta-learning methods under various applications, including few-shot regression, few-shot classification, and meta-reinforcement learning. Code is available at https://github.com/jihoontack/SiMT.
• Abstract（参考訳）: 学生モデルのパフォーマンスを向上させるために個別に訓練されたターゲットモデル(あるいは教師)を使用するというアイデアは、様々な機械学習領域で人気を集めており、メタラーニングも例外ではない。 しかし、特にメタ学習のタスク数が多ければ、各タスクのターゲットモデルを取得するのは非常にコストがかかる。 この問題に対処するため,SiMT(Self-improving Momentum Target)というシンプルな手法を提案する。 SiMTは、メタラーナーの時間アンサンブル、すなわち運動量ネットワークから適応してターゲットモデルを生成する。 この運動量ネットワークとそのタスク固有の適応は、優れた一般化性能を享受し、知識蒸留によるメタリーナーの自己改善を可能にする。 さらに,メタリーナーの摂動パラメータ,例えばドロップアウトは,メタトレーニング中の蒸留損失の高速収束を防止し,この自己改善過程をさらに安定化させることを見出した。 実験結果から,SiMTは,多種多様なメタラーニング手法と組み合わせることで,様々な応用において大きな性能向上をもたらすことが明らかとなった。 コードはhttps://github.com/jihoontack/SiMTで入手できる。

関連論文リスト

• Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning [16.534014215010757]
  トレーニングサンプルの潜在表現を学習するために,一発の教師なしメタラーニングを提案する。 メタラーニングの内ループでは、温度スケールのクロスエントロピー損失を使用し、オーバーフィッティングを防止する。 提案手法はモデル非依存であり, どんなメタ学習モデルでも精度を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-19T18:25:22Z)
• Improving Meta-Learning Generalization with Activation-Based Early-Stopping [12.299371455015239]
  数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。 早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。 これは、メタテストセットが異なるターゲットデータセットから来る、数ショットの転送学習設定で問題となる。
  論文  参考訳（メタデータ） (2022-08-03T22:55:45Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Generalising via Meta-Examples for Continual Learning in the Wild [24.09600678738403]
  我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。 様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
  論文  参考訳（メタデータ） (2021-01-28T15:51:54Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Curriculum in Gradient-Based Meta-Reinforcement Learning [10.447238563837173]
  勾配に基づくメタラーナーはタスク分布に敏感であることを示す。 間違ったカリキュラムでは、エージェントはメタオーバーフィッティング、浅い適応、適応不安定の影響を被る。
  論文  参考訳（メタデータ） (2020-02-19T01:40:45Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。