論文の概要: Adaptation-Agnostic Meta-Training
- arxiv url: http://arxiv.org/abs/2108.10557v1
- Date: Tue, 24 Aug 2021 07:46:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 14:14:57.883180
- Title: Adaptation-Agnostic Meta-Training
- Title（参考訳）: Adaptation-Agnostic Meta-Training
- Authors: Jiaxin Chen, Li-Ming Zhan, Xiao-Ming Wu, Fu-Lai Chung
- Abstract要約: 多くのメタ学習アルゴリズムは、インターリーブされたプロセスに定式化することができる。
本稿では適応に依存しないメタトレーニング戦略を提案する。
提案手法に従えば,より強力なアルゴリズムを内タスクアルゴリズムとして適用し,優れた性能を実現することができる。
- 参考スコア（独自算出の注目度）: 31.749975618338638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many meta-learning algorithms can be formulated into an interleaved process,
in the sense that task-specific predictors are learned during inner-task
adaptation and meta-parameters are updated during meta-update. The normal
meta-training strategy needs to differentiate through the inner-task adaptation
procedure to optimize the meta-parameters. This leads to a constraint that the
inner-task algorithms should be solved analytically. Under this constraint,
only simple algorithms with analytical solutions can be applied as the
inner-task algorithms, limiting the model expressiveness. To lift the
limitation, we propose an adaptation-agnostic meta-training strategy. Following
our proposed strategy, we can apply stronger algorithms (e.g., an ensemble of
different types of algorithms) as the inner-task algorithm to achieve superior
performance comparing with popular baselines. The source code is available at
https://github.com/jiaxinchen666/AdaptationAgnosticMetaLearning.
- Abstract（参考訳）: 多くのメタ学習アルゴリズムは、内部タスク適応時にタスク固有の予測器が学習され、メタ更新時にメタパラメータが更新されるという意味で、インターリーブプロセスに定式化することができる。
通常のメタトレーニング戦略は、メタパラメータを最適化するために、内部タスク適応手順を区別する必要がある。
これにより、内部タスクアルゴリズムを解析的に解決すべきという制約が生じる。
この制約の下では、解析解を持つ単純なアルゴリズムのみが、モデル表現性を制限する内部タスクアルゴリズムとして適用できる。
制限を緩和するために,適応非依存なメタトレーニング戦略を提案する。
提案手法に従い,より強力なアルゴリズム(例えば,異なるアルゴリズムのアンサンブル)をインナータスクアルゴリズムとして適用することで,一般的なベースラインと比較して優れた性能を実現する。
ソースコードはhttps://github.com/jiaxinchen666/AdaptationAgnosticMetaLearningで入手できる。
関連論文リスト
- Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。
最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。
外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
論文 参考訳（メタデータ） (2024-11-01T07:05:03Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Meta Learning Black-Box Population-Based Optimizers [0.0]
人口ベースのブラックボックス一般化を推論するメタラーニングの利用を提案する。
メタロス関数は,学習アルゴリズムが検索動作を変更することを促進し,新たなコンテキストに容易に適合できることを示す。
論文 参考訳（メタデータ） (2021-03-05T08:13:25Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Towards Meta-Algorithm Selection [78.13985819417974]
インスタンス固有のアルゴリズム選択(AS)は、固定された候補集合からのアルゴリズムの自動選択を扱う。
メタアルゴリズムの選択は、いくつかのケースで有益であることを示す。
論文 参考訳（メタデータ） (2020-11-17T17:27:33Z) - Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。
目的はオンラインで発見されるため、時間とともに変化に適応することができる。
Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
論文 参考訳（メタデータ） (2020-07-16T16:17:09Z) - Guarantees for Tuning the Step Size using a Learning-to-Learn Approach [18.838453594698166]
ステップサイズを2次的損失に調整する簡単な問題に対して、学習から学習までのアプローチに対してメタ最適化を保証する。
メタ・グラディエント・オブジェクトを設計してメタ・グラディエントを束縛したままにしておく方法はあるが、バックプロパゲーションを用いて直接メタ・グラディエントを計算すれば、数値的な問題が発生する。
また,メタオブジェクトを別個の検証セットで計算し,学習性能を確保する必要がある場合の特徴付けを行う。
論文 参考訳（メタデータ） (2020-06-30T02:59:35Z) - Siamese Meta-Learning and Algorithm Selection with
'Algorithm-Performance Personas' [Proposal] [0.0]
メタラーニングによるアルゴリズム選択の鍵は、しばしばメタラーナーを効果的に訓練するのに十分な情報を提供しない(メタ)機能である。
本稿では,メタ機能よりも「パフォーマンス」に重点を置く自動アルゴリズム選択のためのSiamese Neural Networkアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-06-22T15:12:21Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-06-09T07:22:01Z) - Adaptivity of Stochastic Gradient Methods for Nonconvex Optimization [71.03797261151605]
適応性は現代最適化理論において重要であるが、研究されていない性質である。
提案アルゴリズムは,PL目標に対して既存のアルゴリズムよりも優れた性能を保ちながら,PL目標に対して最適な収束性を実現することを実証した。
論文 参考訳（メタデータ） (2020-02-13T05:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。