論文の概要: Automated Few-shot Classification with Instruction-Finetuned Language Models

• arxiv url: http://arxiv.org/abs/2305.12576v1
• Date: Sun, 21 May 2023 21:50:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 19:36:33.642464
• Title: Automated Few-shot Classification with Instruction-Finetuned Language Models
• Title（参考訳）: 命令型言語モデルを用いたファウショットの自動分類
• Authors: Rami Aly, Xingjian Shi, Kaixiang Lin, Aston Zhang, Andrew Gordon Wilson
• Abstract要約: 我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
• 参考スコア（独自算出の注目度）: 49.224821054873814
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A particularly successful class of approaches for few-shot learning combines language models with prompts -- hand-crafted task descriptions that complement data samples. However, designing prompts by hand for each task commonly requires domain knowledge and substantial guesswork. We observe, in the context of classification tasks, that instruction finetuned language models exhibit remarkable prompt robustness, and we subsequently propose a simple method to eliminate the need for handcrafted prompts, named AuT-Few. This approach consists of (i) a prompt retrieval module that selects suitable task instructions from the instruction-tuning knowledge base, and (ii) the generation of two distinct, semantically meaningful, class descriptions and a selection mechanism via cross-validation. Over $12$ datasets, spanning $8$ classification tasks, we show that AuT-Few outperforms current state-of-the-art few-shot learning methods. Moreover, AuT-Few is the best ranking method across datasets on the RAFT few-shot benchmark. Notably, these results are achieved without task-specific handcrafted prompts on unseen tasks.
• Abstract（参考訳）: 数少ない学習のための、特に成功したアプローチのクラスは、言語モデルとプロンプトを組み合わせる -- データサンプルを補完する手作りのタスク記述。 しかし、各タスクに対して手作業でプロンプトを設計するには、ドメインの知識とかなりの推測が必要となる。 分類タスクの文脈において,命令の微調整された言語モデルが著しく頑健性を示すことを観察し,その後,手作りのプロンプトの必要性をなくす簡単な手法であるaut-fewを提案する。 このアプローチは (i)指示調整知識ベースから適切なタスク命令を選択するプロンプト検索モジュール、及び (II)クロスバリデーションによる2つの異なる意味論的意味のあるクラス記述と選択機構の生成。 12ドル以上のデータセットは、分類タスクが8ドルを超えており、AuT-Fewが現在の最先端の数ショット学習方法より優れていることを示している。 さらに、AuT-FewはRAFT数ショットベンチマークでデータセット間で最高のランキング方法である。 特筆すべきは、これらの結果は、見当たらないタスクのタスク固有の手作りプロンプトなしで達成される。

関連論文リスト

• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification [5.6205035780719275]
  本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-29T04:42:30Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER [31.32381919473188]
  InstructionNERというマルチタスク命令ベースの生成フレームワークを提案する。 具体的には、NERタスクを生成問題として再構成し、タスク固有の命令と回答オプションでソース文を豊かにし、自然言語のエンティティと型を推論する。 実験結果から,本手法は5つのデータセットのベースラインを数ショット設定で一貫的に上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-03-08T07:56:36Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。