論文の概要: Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP

• arxiv url: http://arxiv.org/abs/2111.01322v1
• Date: Tue, 2 Nov 2021 01:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 22:33:29.862539
• Title: Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP
• Title（参考訳）: NLPにおけるメタラーニングのための自己監督課題の多変量分布
• Authors: Trapit Bansal, Karthick Gunasekaran, Tong Wang, Tsendsuren Munkhdalai, Andrew McCallum
• Abstract要約: 非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
• 参考スコア（独自算出の注目度）: 39.457091182683406
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning considers the problem of learning an efficient learning process that can leverage its past experience to accurately solve new tasks. However, the efficacy of meta-learning crucially depends on the distribution of tasks available for training, and this is often assumed to be known a priori or constructed from limited supervised datasets. In this work, we aim to provide task distributions for meta-learning by considering self-supervised tasks automatically proposed from unlabeled text, to enable large-scale meta-learning in NLP. We design multiple distributions of self-supervised tasks by considering important aspects of task diversity, difficulty, type, domain, and curriculum, and investigate how they affect meta-learning performance. Our analysis shows that all these factors meaningfully alter the task distribution, some inducing significant improvements in downstream few-shot accuracy of the meta-learned models. Empirically, results on 20 downstream tasks show significant improvements in few-shot learning -- adding up to +4.2% absolute accuracy (on average) to the previous unsupervised meta-learning method, and perform comparably to supervised methods on the FewRel 2.0 benchmark.
• Abstract（参考訳）: メタラーニングは、過去の経験を活かして新しいタスクを正確に解決できる効率的な学習プロセスを学ぶ問題を考える。 しかし、メタラーニングの有効性は、トレーニングに利用可能なタスクの分布に大きく依存しており、これは事前知識や限られた教師付きデータセットから構築されると考えられている。 本研究では,NLPにおける大規模メタラーニングを実現するために,ラベルのないテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目的とする。 課題の多様性、難易度、タイプ、ドメイン、カリキュラムの重要な側面を考慮し、自己指導型タスクの複数分布を設計し、メタラーニングのパフォーマンスにどのように影響するかを検討する。 分析の結果,これらすべての要因がタスク分布を有意に変化させ,メタ学習モデルの下流数ショット精度を大幅に向上させることが示唆された。 実証的に、20のダウンストリームタスクの結果は、前回の教師なしメタラーニングメソッドに+4.2%の絶対精度(平均)を付加し、FewRel 2.0ベンチマークで教師付きメソッドと互換性のあるパフォーマンスを実現している。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• Uncertainty-Aware Meta-Learning for Multimodal Task Distributions [3.7470451129384825]
  UnLiMiTD(マルチモーダルタスク分散のための不確実性認識メタラーニング)を提案する。 確率論的視点を採り、メタデータセット上のタスクに対してパラメトリックで調整可能な分布をトレーニングする。 我々は、UnLiMiTDの予測が、ほとんどの場合、標準ベースラインと好意的に比較され、性能的に優れていることを示した。
  論文  参考訳（メタデータ） (2022-10-04T20:02:25Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
  既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。 タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。 メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T22:16:35Z)
• A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
  メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。 メタ学習のベンチマークとしてチャネル符号化問題を提案する。 このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-15T19:37:43Z)
• Lessons from Chasing Few-Shot Learning Benchmarks: Rethinking the Evaluation of Meta-Learning Methods [9.821362920940631]
  メタラーニングのための簡単なベースライン、FIX-MLを紹介します。 メタラーニングの2つの可能性を探る:(i)トレーニングセット(in-distriion)を生成する同じタスク分布に一般化する手法を開発する、(ii)新しい未確認タスク分布(out-of-distriion)に一般化する手法を開発する。 本研究は,この領域の進歩を推論するためには,メタラーニングの目標を明確に説明し,より適切な評価戦略を開発する必要があることを強調した。
  論文  参考訳（メタデータ） (2021-02-23T05:34:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。