論文の概要: Task-Robust Model-Agnostic Meta-Learning

• arxiv url: http://arxiv.org/abs/2002.04766v2
• Date: Fri, 19 Jun 2020 03:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:38:32.264740
• Title: Task-Robust Model-Agnostic Meta-Learning
• Title（参考訳）: タスクロバストモデル非依存なメタラーニング
• Authors: Liam Collins, Aryan Mokhtari, Sanjay Shakkottai
• Abstract要約: 本稿では,AML(Model Agnostic Meta-Learning)の目標を改訂することで,「タスク・ロバストネス(task-robustness)」の概念を導入する。 この新しい定式化の解決策は、最も難しいタスクや稀なタスクにも等しく重要となるという意味で、タスクロバストである。
• 参考スコア（独自算出の注目度）: 42.27488241647739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning methods have shown an impressive ability to train models that rapidly learn new tasks. However, these methods only aim to perform well in expectation over tasks coming from some particular distribution that is typically equivalent across meta-training and meta-testing, rather than considering worst-case task performance. In this work we introduce the notion of "task-robustness" by reformulating the popular Model-Agnostic Meta-Learning (MAML) objective [Finn et al. 2017] such that the goal is to minimize the maximum loss over the observed meta-training tasks. The solution to this novel formulation is task-robust in the sense that it places equal importance on even the most difficult and/or rare tasks. This also means that it performs well over all distributions of the observed tasks, making it robust to shifts in the task distribution between meta-training and meta-testing. We present an algorithm to solve the proposed min-max problem, and show that it converges to an $\epsilon$-accurate point at the optimal rate of $\mathcal{O}(1/\epsilon^2)$ in the convex setting and to an $(\epsilon, \delta)$-stationary point at the rate of $\mathcal{O}(\max\{1/\epsilon^5, 1/\delta^5\})$ in nonconvex settings. We also provide an upper bound on the new task generalization error that captures the advantage of minimizing the worst-case task loss, and demonstrate this advantage in sinusoid regression and image classification experiments.
• Abstract（参考訳）: メタラーニング手法は、新しいタスクを素早く学習するモデルをトレーニングする素晴らしい能力を示しています。 しかし、これらの手法は、最悪のタスクのパフォーマンスを考慮せずに、メタトレーニングやメタテストで一般的に同等の特定の分散から来るタスクに対して、うまく機能することのみを目的としている。 本研究は,モデル非依存型メタラーニング(MAML)の目標[Finn et al. 2017]を改訂し,観察されたメタトレーニングタスクの最大損失を最小化することを目的とした「タスク・ロバストネス」の概念を紹介する。 この新たな定式化の解決策は、最も難しいタスクやまれなタスクにも等しく重要となるという意味で、タスクロスである。 これはまた、観測されたタスクのすべての分布でうまく動作し、メタトレーニングとメタテストの間のタスク分布のシフトに堅牢であることを意味します。 提案したmin-max問題を解くアルゴリズムを提案し、凸設定において$\mathcal{O}(1/\epsilon^2)$の最適な速度で$\epsilon$-正確な点に収束し、非凸設定では$(\epsilon, \delta)$-定常点に$$\mathcal{O}(\max\{1/\epsilon^5, 1/\delta^5\})$の速度で収束することを示す。 また,最悪のタスク損失を最小化する利点を捉えた新しいタスク一般化誤差の上限を提供し,正弦波回帰および画像分類実験でこの利点を実証する。

関連論文リスト

• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
  低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。 MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
  論文  参考訳（メタデータ） (2021-05-18T06:46:48Z)
• Generalization of Model-Agnostic Meta-Learning Algorithms: Recurring and Unseen Tasks [33.055672018805645]
  教師付き学習問題に対するモデル非依存メタラーニング(MAML)アルゴリズムの一般化特性について検討する。 我々の証明手法はアルゴリズムの安定性と一般化境界との接続に依存している。
  論文  参考訳（メタデータ） (2021-02-07T16:16:23Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Robust Meta-learning for Mixed Linear Regression with Small Batches [34.94138630547603]
  大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか? 既存のアプローチでは、そのようなトレードオフは効率よく達成でき、それぞれ$Omega(k1/2)$の例を持つ中規模のタスクの助けを借りることができる。 両シナリオで同時に堅牢なスペクトルアプローチを導入する。
  論文  参考訳（メタデータ） (2020-06-17T07:59:05Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。