論文の概要: Learning to Sample Tasks for Meta Learning
- arxiv url: http://arxiv.org/abs/2307.08924v2
- Date: Tue, 5 Sep 2023 01:15:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 04:05:48.083505
- Title: Learning to Sample Tasks for Meta Learning
- Title（参考訳）: メタ学習のためのタスクのサンプル学習
- Authors: Jingyao Wang, Zeen Song, Xingzhe Su, Lingyu Si, Hongwei Dong, Wenwen
Qiang, Changwen Zheng
- Abstract要約: メタ学習モデルの性能を保証する普遍的なタスクサンプリング戦略は存在しない。
タスクの多様性は、トレーニング中にモデルを不適合または過適合にさせる可能性がある。
モデルの一般化性能は,タスク分散,タスクエントロピー,タスク難易度の影響を受けている。
- 参考スコア（独自算出の注目度）: 12.345631093224307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Through experiments on various meta-learning methods, task samplers, and
few-shot learning tasks, this paper arrives at three conclusions. Firstly,
there are no universal task sampling strategies to guarantee the performance of
meta-learning models. Secondly, task diversity can cause the models to either
underfit or overfit during training. Lastly, the generalization performance of
the models are influenced by task divergence, task entropy, and task
difficulty. In response to these findings, we propose a novel task sampler
called Adaptive Sampler (ASr). ASr is a plug-and-play task sampler that takes
task divergence, task entropy, and task difficulty to sample tasks. To optimize
ASr, we rethink and propose a simple and general meta-learning algorithm.
Finally, a large number of empirical experiments demonstrate the effectiveness
of the proposed ASr.
- Abstract（参考訳）: 本稿では,様々なメタラーニング手法,タスクサンプリング,少数ショットラーニングタスクの実験を通じて,3つの結論に達した。
まず,メタ学習モデルの性能を保証する普遍的なタスクサンプリング戦略は存在しない。
第二に、タスクの多様性は、トレーニング中にモデルに不適合または過適合をもたらす可能性がある。
最後に、モデルの一般化性能は、タスクの発散、タスクエントロピー、タスクの難易度に影響される。
そこで本研究では,ASr(Adaptive Sampler)と呼ばれる新しいタスクサンプリング手法を提案する。
ASrは、タスクのばらつき、タスクのエントロピー、タスクのサンプリングが困難になるタスクサンプリングツールである。
ASrを最適化するために、我々はシンプルで一般的なメタ学習アルゴリズムを再考し提案する。
最後に、多数の実験実験を行い、提案したASrの有効性を示した。
関連論文リスト
- Meta-Learning with Heterogeneous Tasks [42.695853959923625]
HeTRoM(Heterogeneous Tasks Robust Meta-learning)
双方向最適化に基づく効率的な反復最適化アルゴリズム
その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
論文 参考訳（メタデータ） (2024-10-24T16:32:23Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - MetaModulation: Learning Variational Feature Hierarchies for Few-Shot
Learning with Fewer Tasks [63.016244188951696]
本稿では,タスクを減らした少数ショット学習手法を提案する。
メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。
また,変分法を取り入れた学習的変分特徴階層も導入する。
論文 参考訳（メタデータ） (2023-05-17T15:47:47Z) - Meta-Reinforcement Learning Based on Self-Supervised Task Representation
Learning [23.45043290237396]
MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。
MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
論文 参考訳（メタデータ） (2023-04-29T15:46:19Z) - Learning to generate imaginary tasks for improving generalization in
meta-learning [12.635773307074022]
既存のベンチマークにおけるメタ学習の成功は、メタトレーニングタスクの分布がメタテストタスクをカバーするという仮定に基づいて予測される。
最近のソリューションではメタトレーニングタスクの強化が追求されているが、正確なタスクと十分な想像上のタスクの両方を生成することは、まだ未解決の問題である。
本稿では,タスクアップサンプリングネットワークを通じてタスク表現からメタ学習タスクをアップサンプリングする手法を提案する。さらに,タスクアップサンプリング(ATU)と呼ばれるアプローチにより,タスクを最大化することで,最新のメタラーナーに最大限貢献できるタスクを生成する。
論文 参考訳（メタデータ） (2022-06-09T08:21:05Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。
タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。
メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
論文 参考訳（メタデータ） (2021-10-26T22:16:35Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。