論文の概要: Large-Scale Meta-Learning with Continual Trajectory Shifting
- arxiv url: http://arxiv.org/abs/2102.07215v1
- Date: Sun, 14 Feb 2021 18:36:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:38:45.591099
- Title: Large-Scale Meta-Learning with Continual Trajectory Shifting
- Title（参考訳）: 連続軌道シフトによる大規模メタラーニング
- Authors: Jaewoong Shin and Hae Beom Lee and Boqing Gong and Sung Ju Hwang
- Abstract要約: メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。
メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。
このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
- 参考スコア（独自算出の注目度）: 76.29017270864308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning of shared initialization parameters has shown to be highly
effective in solving few-shot learning tasks. However, extending the framework
to many-shot scenarios, which may further enhance its practicality, has been
relatively overlooked due to the technical difficulties of meta-learning over
long chains of inner-gradient steps. In this paper, we first show that allowing
the meta-learners to take a larger number of inner gradient steps better
captures the structure of heterogeneous and large-scale task distributions,
thus results in obtaining better initialization points. Further, in order to
increase the frequency of meta-updates even with the excessively long
inner-optimization trajectories, we propose to estimate the required shift of
the task-specific parameters with respect to the change of the initialization
parameters. By doing so, we can arbitrarily increase the frequency of
meta-updates and thus greatly improve the meta-level convergence as well as the
quality of the learned initializations. We validate our method on a
heterogeneous set of large-scale tasks and show that the algorithm largely
outperforms the previous first-order meta-learning methods in terms of both
generalization performance and convergence, as well as multi-task learning and
fine-tuning baselines.
- Abstract（参考訳）: 共有初期化パラメータのメタラーニングは、少数ショット学習タスクの解決に非常に有効であることが示されている。
しかし、その実践性をさらに高めるであろう多ショットシナリオへのフレームワークの拡張は、内部段階の長い連鎖を超越したメタラーニングの技術的困難により、比較的見過ごされてきた。
本論文では, メタレンナが複数の内部勾配ステップを経ることにより, 異種および大規模タスク分布の構造をよりよく捉えることにより, より優れた初期化点が得られることを示した。
さらに,過度に長い内部最適化トラジェクタにおいてもメタ更新の頻度を増加させるため,初期化パラメータの変化に対してタスク固有のパラメータの必要なシフトを推定する。
これにより、メタ更新の頻度を任意に増加させ、メタレベルの収束と学習した初期化の品質を大幅に向上させることができる。
本手法を大規模タスクのヘテロジニアス集合上で検証し,一般化性能と収束性,マルチタスク学習と微調整ベースラインの両面で,前述した一階メタラーニング手法を大きく上回っていることを示す。
関連論文リスト
- XB-MAML: Learning Expandable Basis Parameters for Effective
Meta-Learning with Wide Task Coverage [12.38102349597265]
本稿では,拡張可能な基底パラメータを学習するXB-MAMLを紹介する。
XB-MAMLは、基底によって広がるベクトル空間と微調整されたパラメータとの相違を観察し、基底を拡張するかどうかを決定する。
論文 参考訳（メタデータ） (2024-03-11T14:37:57Z) - Learning Large-scale Neural Fields via Context Pruned Meta-Learning [60.93679437452872]
本稿では,大規模ニューラルネットワーク学習のための最適化に基づくメタラーニング手法を提案する。
メタテスト時間における勾配再スケーリングは、非常に高品質なニューラルネットワークの学習を可能にすることを示す。
我々のフレームワークは、モデルに依存しない、直感的で、実装が容易であり、幅広い信号に対する大幅な再構成改善を示す。
論文 参考訳（メタデータ） (2023-02-01T17:32:16Z) - Gradient-Based Meta-Learning Using Uncertainty to Weigh Loss for
Few-Shot Learning [5.691930884128995]
Model-Agnostic Meta-Learning (MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。
タスク固有の学習者に対して,タスクの損失を最小限に抑えるパラメータの選択を適応的に学習する手法を提案する。
メソッド1はメタロス差を比較して重みを生成し、クラスが少ない場合の精度を向上させる。
方法2は、各タスクの相補的不確実性を導入し、元の勾配降下に基づいて複数の損失を重み付けする。
論文 参考訳（メタデータ） (2022-08-17T08:11:51Z) - One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient
Reinforcement Learning [61.662504399411695]
より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。
Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
論文 参考訳（メタデータ） (2021-10-30T08:36:52Z) - A contrastive rule for meta-learning [1.3124513975412255]
メタ学習アルゴリズムは、一連のタスクに存在する正規性を活用して、補助学習プロセスのパフォーマンスを高速化し改善する。
平衡伝播に基づく勾配に基づくメタラーニングアルゴリズムを提案する。
我々は、その性能に関する理論的境界を確立し、標準ベンチマークとニューラルネットワークアーキテクチャのセットで実験を行う。
論文 参考訳（メタデータ） (2021-04-04T19:45:41Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2020-12-14T18:05:24Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-19T08:06:47Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳（メタデータ） (2020-07-26T01:50:42Z) - TaskNorm: Rethinking Batch Normalization for Meta-Learning [43.01116858195183]
メタラーニングシナリオに対するバッチ正規化に対する様々なアプローチを評価し、TaskNormと呼ばれる新しいアプローチを開発します。
14のデータセットの実験により、バッチ正規化の選択は、分類精度とトレーニング時間の両方に劇的な影響を及ぼすことが示された。
メタ学習アルゴリズムを公平に比較するための,正規化のためのベストプラクティスのセットを提供する。
論文 参考訳（メタデータ） (2020-03-06T15:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。