論文の概要: Arbitrary Order Meta-Learning with Simple Population-Based Evolution

• arxiv url: http://arxiv.org/abs/2303.09478v1
• Date: Thu, 16 Mar 2023 16:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:35:53.478623
• Title: Arbitrary Order Meta-Learning with Simple Population-Based Evolution
• Title（参考訳）: 単純個体群進化に基づく任意順序メタラーニング
• Authors: Chris Lu, Sebastian Towers, Jakob Foerster
• Abstract要約: 単純個体群に基づく進化は、任意に高次メタ-パラメータを暗黙的に最適化することを示す。 次に、任意順序メタ学習を可能にする最小の自己参照パラメータ化を導入する。
• 参考スコア（独自算出の注目度）: 1.6114012813668934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning, the notion of learning to learn, enables learning systems to quickly and flexibly solve new tasks. This usually involves defining a set of outer-loop meta-parameters that are then used to update a set of inner-loop parameters. Most meta-learning approaches use complicated and computationally expensive bi-level optimisation schemes to update these meta-parameters. Ideally, systems should perform multiple orders of meta-learning, i.e. to learn to learn to learn and so on, to accelerate their own learning. Unfortunately, standard meta-learning techniques are often inappropriate for these higher-order meta-parameters because the meta-optimisation procedure becomes too complicated or unstable. Inspired by the higher-order meta-learning we observe in real-world evolution, we show that using simple population-based evolution implicitly optimises for arbitrarily-high order meta-parameters. First, we theoretically prove and empirically show that population-based evolution implicitly optimises meta-parameters of arbitrarily-high order in a simple setting. We then introduce a minimal self-referential parameterisation, which in principle enables arbitrary-order meta-learning. Finally, we show that higher-order meta-learning improves performance on time series forecasting tasks.
• Abstract（参考訳）: メタ学習は学習するべき学習の概念であり、学習システムが新しいタスクを迅速かつ柔軟に解決することを可能にする。 これは通常、内部ループパラメータのセットを更新するために使用される外ループメタパラメータのセットを定義することである。 ほとんどのメタラーニングアプローチでは、これらのメタパラメータを更新するために複雑で計算コストのかかるバイレベル最適化スキームを使用している。 理想的には、システムは複数の順序のメタ学習、すなわち学習や学習などを学習し、自分自身の学習を加速する必要がある。 残念ながら、標準的なメタ学習技術は、メタ最適化手順が複雑すぎるか不安定になるため、高次メタパラメーターには不適切であることが多い。 実世界進化において観察する高次メタラーニングに触発されて,単純な集団型進化を用いて任意の高次メタパラメータを暗黙的に最適化することを示した。 まず、人口ベース進化は、単純な設定で任意の高次メタパラメータを暗黙的に最適化することを示す。 次に、任意順序メタ学習を可能にする最小の自己参照パラメータ化を導入する。 最後に,高次メタ学習が時系列予測タスクの性能を向上させることを示す。

関連論文リスト

• Eliminating Meta Optimization Through Self-Referential Meta Learning [5.584060970507506]
  明示的なメタ最適化を必要とせずに自己修正を行う自己参照メタ学習システムについて検討する。 ニューラルネットワークは、帯域幅と古典的な制御タスクを解決するために自己修正を行い、自己修正を改善し、学習方法を学ぶ。
  論文  参考訳（メタデータ） (2022-12-29T17:53:40Z)
• Meta Mirror Descent: Optimiser Learning for Fast Convergence [85.98034682899855]
  我々は、勾配降下ではなくミラー降下から始まり、対応するブレグマン発散をメタラーニングする。 このパラダイム内では、後悔の限界を最小化するための新しいメタ学習目標を定式化する。 多くのメタ学習オプティマイザとは異なり、収束と一般化の保証もサポートしており、検証データを必要としない。
  論文  参考訳（メタデータ） (2022-03-05T11:41:13Z)
• Bootstrapped Meta-Learning [48.017607959109924]
  本稿では,メタ学習者が自らを教えることによって,メタ最適化問題に挑戦するアルゴリズムを提案する。 アルゴリズムはまずメタラーナーからターゲットをブートストラップし、選択した(擬似)測度の下でそのターゲットまでの距離を最小化することでメタラーナーを最適化する。 我々は、Atari ALEベンチマークでモデルフリーエージェントの新たな最先端技術を実現し、数ショットの学習においてMAMLを改善し、我々のアプローチがいかに新しい可能性を開くかを実証する。
  論文  参考訳（メタデータ） (2021-09-09T18:29:05Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• A contrastive rule for meta-learning [1.3124513975412255]
  メタ学習アルゴリズムは、一連のタスクに存在する正規性を活用して、補助学習プロセスのパフォーマンスを高速化し改善する。 平衡伝播に基づく勾配に基づくメタラーニングアルゴリズムを提案する。 我々は、その性能に関する理論的境界を確立し、標準ベンチマークとニューラルネットワークアーキテクチャのセットで実験を行う。
  論文  参考訳（メタデータ） (2021-04-04T19:45:41Z)
• Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
  メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。 メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。 このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-02-14T18:36:33Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。