論文の概要: Improving Meta-Learning Generalization with Activation-Based
Early-Stopping
- arxiv url: http://arxiv.org/abs/2208.02377v1
- Date: Wed, 3 Aug 2022 22:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:06:39.127907
- Title: Improving Meta-Learning Generalization with Activation-Based
Early-Stopping
- Title（参考訳）: アクティベーションベースのアーリーストッピングによるメタラーニング一般化の改善
- Authors: Simon Guiroy, Christopher Pal, Gon\c{c}alo Mordido, Sarath Chandar
- Abstract要約: 数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。
早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。
これは、メタテストセットが異なるターゲットデータセットから来る、数ショットの転送学習設定で問題となる。
- 参考スコア（独自算出の注目度）: 12.299371455015239
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-Learning algorithms for few-shot learning aim to train neural networks
capable of generalizing to novel tasks using only a few examples.
Early-stopping is critical for performance, halting model training when it
reaches optimal generalization to the new task distribution. Early-stopping
mechanisms in Meta-Learning typically rely on measuring the model performance
on labeled examples from a meta-validation set drawn from the training (source)
dataset. This is problematic in few-shot transfer learning settings, where the
meta-test set comes from a different target dataset (OOD) and can potentially
have a large distributional shift with the meta-validation set. In this work,
we propose Activation Based Early-stopping (ABE), an alternative to using
validation-based early-stopping for meta-learning. Specifically, we analyze the
evolution, during meta-training, of the neural activations at each hidden
layer, on a small set of unlabelled support examples from a single task of the
target tasks distribution, as this constitutes a minimal and justifiably
accessible information from the target problem. Our experiments show that
simple, label agnostic statistics on the activations offer an effective way to
estimate how the target generalization evolves over time. At each hidden layer,
we characterize the activation distributions, from their first and second order
moments, then further summarized along the feature dimensions, resulting in a
compact yet intuitive characterization in a four-dimensional space. Detecting
when, throughout training time, and at which layer, the target activation
trajectory diverges from the activation trajectory of the source data, allows
us to perform early-stopping and improve generalization in a large array of
few-shot transfer learning settings, across different algorithms, source and
target datasets.
- Abstract（参考訳）: 数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。
早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。
メタ学習における早期停止メカニズムは、通常、トレーニング(ソース)データセットから引き出されたメタバリデーションセットからラベル付き例によるモデルパフォーマンスの測定に依存する。
これは、メタテストセットが異なるターゲットデータセット(OOD)から得られる、メタ検証セットによる大きな分散シフトの可能性がある、数ショットの転送学習設定で問題となる。
本稿では,バリデーションに基づく早期停止の代替として,アクティベーションベース早期停止(abe)を提案する。
具体的には,各隠蔽層におけるニューラルアクティベーションのメタトレーニングにおいて,ターゲットタスク分布の1つのタスクから,目標問題から最小限かつ十分アクセス可能な情報を構成する小さなサポート例を用いて,その進化を解析する。
実験の結果,活性化に関する単純なラベルに依存しない統計は,対象の一般化が時間とともにどのように進化するかを推定する有効な方法であることがわかった。
各隠蔽層において、1次および2次モーメントから活性化分布を特徴づけ、さらに特徴次元に沿って要約し、4次元空間におけるコンパクトで直感的な特徴づけを与える。
トレーニング時間中、およびどのレイヤにおいて、ターゲットのアクティベーション軌道がソースデータのアクティベーション軌道から逸脱しているかを検出することで、さまざまなアルゴリズム、ソース、ターゲットデータセットをまたいで、大量のマイナショット転送学習設定において、早期停止と一般化が可能になる。
関連論文リスト
- TIDo: Source-free Task Incremental Learning in Non-stationary
Environments [0.0]
モデルベースのエージェントを更新して新しいターゲットタスクを学習するには、過去のトレーニングデータを格納する必要があります。
ラベル付きターゲットデータセットの制限を克服するタスクインクリメンタル学習手法はほとんどない。
本研究では,非定常的および目標的タスクに適応可能なワンショットタスクインクリメンタル学習手法を提案する。
論文 参考訳（メタデータ） (2023-01-28T02:19:45Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。
分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
論文 参考訳（メタデータ） (2021-11-02T01:50:09Z) - Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
集合構造データから学ぶことは、近年注目を集めている根本的な問題である。
本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。
さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
論文 参考訳（メタデータ） (2021-10-18T09:49:05Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-03-01T01:43:04Z) - Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。
提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
論文 参考訳（メタデータ） (2021-01-24T22:57:19Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。