論文の概要: Negative Inner-Loop Learning Rates Learn Universal Features
- arxiv url: http://arxiv.org/abs/2203.10185v1
- Date: Fri, 18 Mar 2022 22:43:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-27 02:09:07.543030
- Title: Negative Inner-Loop Learning Rates Learn Universal Features
- Title（参考訳）: ネガティブな内ループ学習率は普遍的な特徴を学ぶ
- Authors: Tom Starshak
- Abstract要約: メタSGDにおける学習速度がタスクごとの特徴表現に与える影響について検討する。
負の学習速度は、特徴をタスク固有の特徴から切り離し、タスクに依存しない特徴へと押し上げる。
これはメタSGDの負の学習速度が、単にタスク固有の特徴に適応するのではなく、タスクに依存しない特徴を学習させるという仮説を裏付けるものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Model Agnostic Meta-Learning (MAML) consists of two optimization loops: the
outer loop learns a meta-initialization of model parameters that is shared
across tasks, and the inner loop task-specific adaptation step. A variant of
MAML, Meta-SGD, uses the same two loop structure, but also learns the
learning-rate for the adaptation step. Little attention has been paid to how
the learned learning-rate of Meta-SGD affects feature reuse. In this paper, we
study the effect that a learned learning-rate has on the per-task feature
representations in Meta-SGD. The learned learning-rate of Meta-SGD often
contains negative values. During the adaptation phase, these negative learning
rates push features away from task-specific features and towards task-agnostic
features.
We performed several experiments on the Mini-Imagenet dataset. Two neural
networks were trained, one with MAML, and one with Meta-SGD. The feature
quality for both models was tested as follows: strip away the linear
classification layer, pass labeled and unlabeled samples through this encoder,
classify the unlabeled samples according to their nearest neighbor. This
process was performed: 1) after training and using the meta-initialization
parameters; 2) after adaptation, and validated on that task; and 3) after
adaptation, and validated on a different task. The MAML trained model improved
on the task it was adapted to, but had worse performance on other tasks. The
Meta-SGD trained model was the opposite; it had worse performance on the task
it was adapted to, but improved on other tasks. This confirms the hypothesis
that Meta-SGD's negative learning rates cause the model to learn task-agnostic
features rather than simply adapt to task specific features.
- Abstract（参考訳）: Model Agnostic Meta-Learning (MAML) は2つの最適化ループで構成されている。外ループはタスク間で共有されるモデルパラメータのメタ初期化を学習する。
MAMLの変種であるMeta-SGDは、同じ2つのループ構造を用いるが、適応ステップの学習率も学習する。
Meta-SGDの学習速度が機能の再利用に与える影響についてはほとんど注目されていない。
本稿では,メタSGDにおける学習速度がタスクごとの特徴表現に与える影響について検討する。
メタsgdの学習率はしばしば負の値を含む。
適応フェーズの間、これらの負の学習速度は、タスク固有の特徴からタスクに依存しない特徴へと特徴を遠ざける。
我々はMini-Imagenetデータセットでいくつかの実験を行った。
MAMLとMeta-SGDの2つのニューラルネットワークがトレーニングされた。
両方のモデルの特徴は以下の通りである: 線形分類層を除去し、このエンコーダを通してラベル付きおよびラベルなしのサンプルをパスし、隣人に応じてラベルなしのサンプルを分類する。
このプロセスが実行された。
1) 訓練後,及びメタ初期化パラメータの使用
2 適応後、その課題について検証し、及び
3) 適応後, 異なるタスクで検証した。
MAML訓練モデルは適応されたタスクで改善されたが、他のタスクではパフォーマンスが悪くなった。
メタSGDの訓練モデルは逆で、適応されたタスクではパフォーマンスが悪く、他のタスクでは改善された。
これはメタSGDの負の学習速度が、単にタスク固有の特徴に適応するのではなく、タスクに依存しない特徴を学習させるという仮説を裏付けるものである。
関連論文リスト
- Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳（メタデータ） (2023-04-06T04:53:13Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。
メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。
この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
論文 参考訳（メタデータ） (2021-03-30T09:33:38Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。
合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
論文 参考訳（メタデータ） (2020-11-13T06:41:22Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell
Classification [8.998976678920236]
本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。
AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。
提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
論文 参考訳（メタデータ） (2020-07-09T18:03:12Z) - BI-MAML: Balanced Incremental Approach for Meta Learning [9.245355087256314]
本稿では,複数のタスクを学習するための新しいバランス付きインクリメンタルモデルAgnostic Meta Learningシステム(BI-MAML)を提案する。
本手法では,従来のタスクを忘れることなく,新たなタスクにモデルを漸進的に適応させるメタ更新ルールを実装している。
本システムでは,数ショットでメタ更新を行い,その達成に成功している。
論文 参考訳（メタデータ） (2020-06-12T18:28:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。