論文の概要: Embedding Adaptation is Still Needed for Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2104.07255v1
• Date: Thu, 15 Apr 2021 06:00:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 03:29:11.598963
• Title: Embedding Adaptation is Still Needed for Few-Shot Learning
• Title（参考訳）: 初歩学習にはまだ埋め込み適応が必要である
• Authors: S\'ebastien M. R. Arnold and Fei Sha
• Abstract要約: atgは、追加の人間知識なしにトレーニングおよびテストタスクセットを定義するための原則化されたクラスタリング手法である。 既存のベンチマークよりも容易で、相互に、あるいは難しいタスクセットを生成するためのATGの有効性を実証的に実証する。 グラデーションベースのメソッドは、転送が最も困難であるときに、メトリックベースのタスクを上回ることができます。
• 参考スコア（独自算出の注目度）: 25.4156194645678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing new and more challenging tasksets is a fruitful methodology to analyse and understand few-shot classification methods. Unfortunately, existing approaches to building those tasksets are somewhat unsatisfactory: they either assume train and test task distributions to be identical -- which leads to overly optimistic evaluations -- or take a "worst-case" philosophy -- which typically requires additional human labor such as obtaining semantic class relationships. We propose ATG, a principled clustering method to defining train and test tasksets without additional human knowledge. ATG models train and test task distributions while requiring them to share a predefined amount of information. We empirically demonstrate the effectiveness of ATG in generating tasksets that are easier, in-between, or harder than existing benchmarks, including those that rely on semantic information. Finally, we leverage our generated tasksets to shed a new light on few-shot classification: gradient-based methods -- previously believed to underperform -- can outperform metric-based ones when transfer is most challenging.
• Abstract（参考訳）: 新しく、より挑戦的なタスクセットを構築することは、少数ショットの分類方法を分析し理解するための実りある方法論である。 残念ながら、これらのタスクセットを構築する既存のアプローチは、多少不十分である。彼らは、トレーニングとテストのタスク分布が同一であると仮定するか、あるいは、通常、意味的なクラス関係を得ることのような追加の人的労力を必要とする"ワーストケース"哲学を取るかのどちらかである。 本稿では,人間知識を必要とせず,トレーナーとテストタスクセットを定義するための原則クラスタリング手法であるatgを提案する。 ATGは、事前に定義された量の情報を共有しながら、タスクの配布をトレーニングし、テストする。 セマンティック情報に依存するものを含め、既存のベンチマークよりも容易で、相互に、あるいは難しいタスクセットを生成するためのATGの有効性を実証的に実証する。 最後に、私たちは生成したタスクセットを活用して、少数ショットの分類に新たな光を当てています。

関連論文リスト

• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• TaskMix: Data Augmentation for Meta-Learning of Spoken Intent Understanding [0.0]
  本稿では,タスクの多様性が低い場合のオーバーフィッティングという問題を,最先端のデータ拡張手法により悪化させることを示す。 本稿では,既存のタスクを線形に補間することで,新しいタスクを合成する簡単なTaskMixを提案する。 TaskMixはベースラインを上回り、タスクの多様性が低い場合の過度な適合を軽減し、高い場合でも性能が低下しないことを示す。
  論文  参考訳（メタデータ） (2022-09-26T00:37:40Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。