論文の概要: Few-shot Sequence Learning with Transformers

• arxiv url: http://arxiv.org/abs/2012.09543v1
• Date: Thu, 17 Dec 2020 12:30:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 18:02:20.939138
• Title: Few-shot Sequence Learning with Transformers
• Title（参考訳）: 変圧器を用いた少数ショットシーケンス学習
• Authors: Lajanugen Logeswaran, Ann Lee, Myle Ott, Honglak Lee, Marc'Aurelio Ranzato, Arthur Szlam
• Abstract要約: 少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。 本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。 トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 79.87875859408955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot algorithms aim at learning new tasks provided only a handful of training examples. In this work we investigate few-shot learning in the setting where the data points are sequences of tokens and propose an efficient learning algorithm based on Transformers. In the simplest setting, we append a token to an input sequence which represents the particular task to be undertaken, and show that the embedding of this token can be optimized on the fly given few labeled examples. Our approach does not require complicated changes to the model architecture such as adapter layers nor computing second order derivatives as is currently popular in the meta-learning and few-shot learning literature. We demonstrate our approach on a variety of tasks, and analyze the generalization properties of several model variants and baseline approaches. In particular, we show that compositional task descriptors can improve performance. Experiments show that our approach works at least as well as other methods, while being more computationally efficient.
• Abstract（参考訳）: 少数のトレーニング例でのみ提供される新しいタスクの学習を目的としている。 本研究では,データポイントがトークン列である設定において,少数ショット学習を行い,トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。 最も簡単な設定では、実行すべき特定のタスクを表す入力シーケンスにトークンを付加し、ラベル付き例が少ないため、このトークンの埋め込みをオンザフライで最適化できることを示す。 当社のアプローチでは,メタラーニングや少ショットラーニングの文献で現在普及しているアダプタ層や第2次微分計算といったモデルアーキテクチャの複雑な変更は必要としない。 様々なタスクに対する我々のアプローチを実証し、いくつかのモデル変種およびベースラインアプローチの一般化特性を解析する。 特に,構成的タスク記述子により性能が向上することを示す。 実験により、我々のアプローチは、計算効率が向上しつつ、少なくとも他の手法と同様に動作することが示された。

関連論文リスト

• Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions [32.59746882017483]
  本論文では,トランスフォーマーが一つのタスクを解くために2つの異なるアルゴリズムを実装することを学習できることを示す。 また,既存のLarge Language Models (LLMs) は,予測タスクにおいて最寄りのベースラインと競合することを示す。
  論文  参考訳（メタデータ） (2023-10-04T17:57:33Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning [113.05118113697111]
  少ないショット学習は、ラベル付きデータしか持たない新しいタスクに、以前のタスクから学んだ知識を適応させることを目的としている。 少数ショット学習に関する研究文献は、大きな多様性を示し、異なるアルゴリズムは、しばしば異なる少数ショット学習シナリオで優れている。 本稿では,メタナビゲータ(Meta Navigator)について紹介する。
  論文  参考訳（メタデータ） (2021-09-13T07:20:01Z)
• Hash Layers For Large Sparse Models [48.90784451703753]
  フィードフォワード層を現在のトークンによって異なる重みのセットにハッシュし、シーケンス内のすべてのトークンに対して変更する。 本手法は, 学習と学習の混合手法に比較して, 性能が優れているか, あるいは競争的であるかを示す。
  論文  参考訳（メタデータ） (2021-06-08T14:54:24Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。