論文の概要: Local Nonparametric Meta-Learning

• arxiv url: http://arxiv.org/abs/2002.03272v1
• Date: Sun, 9 Feb 2020 03:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 14:17:45.964225
• Title: Local Nonparametric Meta-Learning
• Title（参考訳）: 局所的非パラメトリックメタラーニング
• Authors: Wonjoon Goo, Scott Niekum
• Abstract要約: メタ学習の主目的は、一連のタスクにまたがる迅速な適応を可能にする学習ルールを見つけることである。 グローバルな、固定サイズの表現は、ある種類のアウト・オブ・ディストリビューションタスクに直面すると、しばしば失敗する。 本稿では,メタ学習ルールを利用した非パラメトリックなメタ学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 28.563015766188478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A central goal of meta-learning is to find a learning rule that enables fast adaptation across a set of tasks, by learning the appropriate inductive bias for that set. Most meta-learning algorithms try to find a \textit{global} learning rule that encodes this inductive bias. However, a global learning rule represented by a fixed-size representation is prone to meta-underfitting or -overfitting since the right representational power for a task set is difficult to choose a priori. Even when chosen correctly, we show that global, fixed-size representations often fail when confronted with certain types of out-of-distribution tasks, even when the same inductive bias is appropriate. To address these problems, we propose a novel nonparametric meta-learning algorithm that utilizes a meta-trained local learning rule, building on recent ideas in attention-based and functional gradient-based meta-learning. In several meta-regression problems, we show improved meta-generalization results using our local, nonparametric approach and achieve state-of-the-art results in the robotics benchmark, Omnipush.
• Abstract（参考訳）: メタラーニングの中心的な目標は、その集合に対する適切な帰納的バイアスを学習することによって、一連のタスクに対して迅速に適応できる学習規則を見つけることである。 ほとんどのメタ学習アルゴリズムは、この帰納バイアスをエンコードする \textit{global} 学習ルールを見つけようとする。 しかし,固定サイズの表現で表されるグローバルな学習ルールは,タスクセットの適切な表現力の選択が難しいため,メタアンダーフィットやオーバーフィットの傾向がある。 たとえ正しく選択されたとしても、グローバルで固定サイズの表現は、たとえ同じ帰納的バイアスが適切であっても、特定の種類の分散タスクと向き合うと、しばしば失敗することを示している。 そこで本研究では,近年の注意型および機能型勾配型メタラーニングの考え方に基づいて,メタトレーニングされた局所学習ルールを用いた新しい非パラメトリックメタラーニングアルゴリズムを提案する。 いくつかのメタ回帰問題において,局所的,非パラメトリック的アプローチによるメタ一般化結果の改善と,ロボットベンチマークOmnipushにおける最先端結果の達成を示す。

関連論文リスト

• General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
  本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。 一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。 本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
  論文  参考訳（メタデータ） (2022-12-08T18:30:22Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Guarantees for Tuning the Step Size using a Learning-to-Learn Approach [18.838453594698166]
  ステップサイズを2次的損失に調整する簡単な問題に対して、学習から学習までのアプローチに対してメタ最適化を保証する。 メタ・グラディエント・オブジェクトを設計してメタ・グラディエントを束縛したままにしておく方法はあるが、バックプロパゲーションを用いて直接メタ・グラディエントを計算すれば、数値的な問題が発生する。 また,メタオブジェクトを別個の検証セットで計算し,学習性能を確保する必要がある場合の特徴付けを行う。
  論文  参考訳（メタデータ） (2020-06-30T02:59:35Z)
• TaskNorm: Rethinking Batch Normalization for Meta-Learning [43.01116858195183]
  メタラーニングシナリオに対するバッチ正規化に対する様々なアプローチを評価し、TaskNormと呼ばれる新しいアプローチを開発します。 14のデータセットの実験により、バッチ正規化の選択は、分類精度とトレーニング時間の両方に劇的な影響を及ぼすことが示された。 メタ学習アルゴリズムを公平に比較するための,正規化のためのベストプラクティスのセットを提供する。
  論文  参考訳（メタデータ） (2020-03-06T15:43:27Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。