論文の概要: MEAL: Stable and Active Learning for Few-Shot Prompting

• arxiv url: http://arxiv.org/abs/2211.08358v2
• Date: Mon, 22 May 2023 17:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 05:07:36.515900
• Title: MEAL: Stable and Active Learning for Few-Shot Prompting
• Title（参考訳）: MEAL:Few-Shot Promptingのための安定的でアクティブな学習
• Authors: Abdullatif K\"oksal, Timo Schick, Hinrich Sch\"utze
• Abstract要約: ショットの分類は、いくつかのショットの異なるセットと異なる微調整ランの両方に高いばらつきがある。 そこで本研究では,新たなアンサンブル手法を提案し,実行可能性を大幅に低下させることを示す。 第2に、データ選択のための新しいアクティブラーニング(AL)基準を導入し、プロンプトベースラーニングに特化したALベースのアプローチを提示する。
• 参考スコア（独自算出の注目度）: 12.074766935042588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot classification has made great strides due to foundation models that, through priming and prompting, are highly effective few-shot learners. However, this approach has high variance both across different sets of few shots (data selection) and across different finetuning runs (run variability). This is problematic not only because it impedes the fair comparison of different approaches, but especially because it makes few-shot learning too unreliable for many real-world applications. To alleviate these issues, we make two contributions for more stable and effective few-shot learning: First, we propose novel ensembling methods and show that they substantially reduce run variability. Second, we introduce a new active learning (AL) criterion for data selection and present the first AL-based approach specifically tailored towards prompt-based learning. In our experiments, we show that our combined method, MEAL (Multiprompt finetuning and prediction Ensembling with Active Learning), improves overall performance of prompt-based finetuning by 2.3 points on five diverse tasks.
• Abstract（参考訳）: プライミングとプロンプトを通じて、非常に効果的な数発学習者となる基礎モデルにより、ほとんどショット分類は大きな進歩を遂げた。 しかし、このアプローチは、わずかなショット(データ選択)の異なるセットと異なる微調整実行(実行のバラツキ)の両方で高いばらつきがある。 これは、異なるアプローチの公正な比較を妨げるだけでなく、特に現実世界の多くのアプリケーションでは、少なからぬ学習が信頼できないからである。 これらの課題を緩和するため,我々は,より安定かつ効果的なマイナショット学習に2つの貢献をする。 第2に,データ選択のための新たなアクティブラーニング(al)基準を導入し,プロンプトベース学習に特化した最初のalベースアプローチを提案する。 本研究では,本手法の組み合わせであるMEAL(Multiprompt Finetuning and Prediction Ensembling with Active Learning)により,5つのタスクにおいて2.3ポイントのプロンプトベースファインタニングの全体的な性能が向上することを示す。

関連論文リスト

• Exploring Effective Knowledge Transfer for Few-shot Object Detection [54.45009859654753]
  ローショットのレジームで優れている方法は、ハイショットのレジームで苦労する傾向があり、その逆もある。 ローショット方式では、内級変動の欠如が主な課題である。 ハイショットの体制では、分散が実数に近づくにつれて、パフォーマンスに対する主な障害は、学習された分布と真の分布のミスアライメントから生じる。
  論文  参考訳（メタデータ） (2022-10-05T04:53:58Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning [51.03781020616402]
  現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。 そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。 粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
  論文  参考訳（メタデータ） (2021-08-15T02:21:01Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Towards Few-Shot Fact-Checking via Perplexity [40.11397284006867]
  そこで本研究では,言語モデルの強力な伝達学習能力をパープレキシティスコアで活用する新しい手法を提案する。 私たちの方法論は、F1-Macroメトリックの絶対10%以上のメジャークラスベースラインをすでに上回ることができます。 COVID-19に関連する2つの新しいファクトチェックデータセットを構築し、公開します。
  論文  参考訳（メタデータ） (2021-03-17T09:43:19Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
  ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。 そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
  論文  参考訳（メタデータ） (2020-09-26T19:47:38Z)
• Online Parameter-Free Learning of Multiple Low Variance Tasks [36.08679456245112]
  低分散タスク列の増大に対して共通のバイアスベクトルを学習する手法を提案する。 我々のアプローチは統計的でない設定で示され、2つの変種から成り立つ。 実験により,本手法の有効性が確認された。
  論文  参考訳（メタデータ） (2020-07-11T09:52:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。