論文の概要: Learning to generate imaginary tasks for improving generalization in meta-learning

• arxiv url: http://arxiv.org/abs/2206.04335v1
• Date: Thu, 9 Jun 2022 08:21:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 15:28:20.319545
• Title: Learning to generate imaginary tasks for improving generalization in meta-learning
• Title（参考訳）: メタラーニングにおける一般化のための想像的タスクの学習
• Authors: Yichen Wu and Long-Kai Huang and Ying Wei
• Abstract要約: 既存のベンチマークにおけるメタ学習の成功は、メタトレーニングタスクの分布がメタテストタスクをカバーするという仮定に基づいて予測される。 最近のソリューションではメタトレーニングタスクの強化が追求されているが、正確なタスクと十分な想像上のタスクの両方を生成することは、まだ未解決の問題である。 本稿では,タスクアップサンプリングネットワークを通じてタスク表現からメタ学習タスクをアップサンプリングする手法を提案する。さらに,タスクアップサンプリング(ATU)と呼ばれるアプローチにより,タスクを最大化することで,最新のメタラーナーに最大限貢献できるタスクを生成する。
• 参考スコア（独自算出の注目度）: 12.635773307074022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of meta-learning on existing benchmarks is predicated on the assumption that the distribution of meta-training tasks covers meta-testing tasks. Frequent violation of the assumption in applications with either insufficient tasks or a very narrow meta-training task distribution leads to memorization or learner overfitting. Recent solutions have pursued augmentation of meta-training tasks, while it is still an open question to generate both correct and sufficiently imaginary tasks. In this paper, we seek an approach that up-samples meta-training tasks from the task representation via a task up-sampling network. Besides, the resulting approach named Adversarial Task Up-sampling (ATU) suffices to generate tasks that can maximally contribute to the latest meta-learner by maximizing an adversarial loss. On few-shot sine regression and image classification datasets, we empirically validate the marked improvement of ATU over state-of-the-art task augmentation strategies in the meta-testing performance and also the quality of up-sampled tasks.
• Abstract（参考訳）: 既存のベンチマークにおけるメタ学習の成功は、メタトレーニングタスクの分布がメタテストタスクをカバーするという仮定に基づいて予測される。 タスク不足やメタトレーニングタスクの分布が非常に狭いアプリケーションにおける仮定に頻繁に違反すると、暗記や学習者の過度な適合につながる。 最近のソリューションは、メタトレーニングタスクの強化を追求しているが、正しいタスクと十分な想像上のタスクの両方を生成するのは、まだ未解決の問題である。 本稿では,タスクアップサンプリングネットワークを通じてタスク表現からメタトレーニングタスクをアップサンプルする手法を提案する。 さらに、adversarial task up-sampling(atu)と名付けられたアプローチは、敵の損失を最大化することによって最新のメタリーナーに最大に貢献できるタスクを生成する。 数ショットの正弦回帰と画像分類データセットを用いて、メタテスト性能およびアップサンプリングタスクの品質において、最先端タスク拡張戦略よりもATUの顕著な改善を実証的に検証した。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)
• Robust Meta-Reinforcement Learning with Curriculum-Based Task Sampling [0.0]
  RMRL-GTS(Robost Meta Reinforcement Learning with Guided Task Sampling)は,スコアとエポックに基づいてタスクサンプリングを制限する効果的な手法であることを示す。 ロバストなメタRLを実現するためには、低得点のタスクを集中的にサンプリングするだけでなく、サンプリングすべきタスクのタスク領域の制限と拡張も必要である。
  論文  参考訳（メタデータ） (2022-03-31T05:16:24Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Model-based Adversarial Meta-Reinforcement Learning [38.28304764312512]
  モデルに基づく対向メタ強化学習(AdMRL)を提案する。 AdMRLは、タスクファミリ内のすべてのタスク間の最悪の部分最適化ギャップを最小限にすることを目的としている。 本手法をいくつかの連続制御ベンチマークで評価し,全てのタスクに対して最悪の性能を示す。
  論文  参考訳（メタデータ） (2020-06-16T02:21:49Z)
• Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning [29.125234093368732]
  本稿では,新しいタスクの学習において,人間レベルの効率を実現するためのメタRL戦略を提案する。 本稿では,メタRL問題をタスク探索,タスク推論,タスク充足という3つのサブタスクに分解する。 提案アルゴリズムは,タスク推論の探索を効果的に行い,トレーニングとテストの双方においてサンプル効率を向上し,メタオーバーフィッティング問題を緩和する。
  論文  参考訳（メタデータ） (2020-03-03T07:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。