論文の概要: Zero-Label Prompt Selection

• arxiv url: http://arxiv.org/abs/2211.04668v1
• Date: Wed, 9 Nov 2022 04:13:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 16:48:08.295712
• Title: Zero-Label Prompt Selection
• Title（参考訳）: ゼロラベルプロンプト選択
• Authors: Chonghua Liao, Yanan Zheng, Zhilin Yang
• Abstract要約: ラベル付きデータや勾配更新なしにプロンプトを選択するゼロラベルプロンプト選択(ZPS)手法を提案する。 ZPSはゼロラベル性能において,従来手法よりも大きなマージンで改善されていることを示す。
• 参考スコア（独自算出の注目度）: 18.84797249879186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language prompts have been shown to facilitate cross-task generalization for large language models. However, with no or limited labeled examples, the cross-task performance is highly sensitive to the choice of prompts, while selecting a high-performing prompt is challenging given the scarcity of labels. To address the issue, we propose a Zero-Label Prompt Selection (ZPS) method that selects prompts without any labeled data or gradient update. Specifically, given the candidate human-written prompts for a task, ZPS labels a set of unlabeled data with a prompt ensemble and uses the pseudo-labels for prompt selection. Experiments show that ZPS improves over prior methods by a sizeable margin in zero-label performance. We also extend ZPS to a few-shot setting and show its advantages over strong baselines such as prompt tuning and model tuning.
• Abstract（参考訳）: 自然言語プロンプトは、大規模言語モデルのクロスタスク一般化を促進することが示されている。 しかし,ラベル付き例がほとんどあるいは限定されていない場合,クロスタスク性能はプロンプトの選択に非常に敏感であり,ラベルの不足からハイパフォーマンスなプロンプトを選択することは困難である。 この問題に対処するために,ラベル付きデータや勾配更新なしにプロンプトを選択するゼロラベルプロンプト選択(zps)手法を提案する。 具体的には、タスクの候補となる人書きプロンプトを考慮し、ZPSは未ラベルデータのセットをプロンプトアンサンブルでラベル付けし、擬似ラベルを使ってプロンプトセレクションを行う。 実験により、ZPSはゼロラベル性能において、従来手法よりも大きなマージンで改善されていることが示された。 また、ZPSを数ショット設定にまで拡張し、プロンプトチューニングやモデルチューニングといった強力なベースラインよりも優れていることを示す。

関連論文リスト

• Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models [10.699636123243138]
  In-context Learning (ICL) のパフォーマンスは、迅速な設計に敏感だが、ゼロショット分類におけるクラスラベルオプションの影響は概ね見過ごされている。 本研究は,ラベルオプションがゼロショットICL分類性能にどのように影響するかを総合的に調査した最初の事例である。
  論文  参考訳（メタデータ） (2024-10-24T22:59:23Z)
• You can't handle the (dirty) truth: Data-centric insights improve pseudo-labeling [60.27812493442062]
  擬似ラベル法を改善するためにラベル付きデータ品質を調査することが重要であることを示す。 具体的には、擬似ラベルの拡張のために、DIPSと呼ばれる新しいデータキャラクタリゼーションと選択フレームワークを導入する。 本研究では,多種多様な実世界のデータセットを対象とした擬似ラベル手法に対するDIPSの適用性と影響を実証する。
  論文  参考訳（メタデータ） (2024-06-19T17:58:40Z)
• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• SLPT: Selective Labeling Meets Prompt Tuning on Label-Limited Lesion Segmentation [57.37875162629063]
  本稿では,限定ラベルの性能向上のために,選択的ラベリングと即時チューニングを組み合わせたフレームワークを提案する。 肝腫瘍の分節化について検討し, 従来の微調整を6%程度で達成した。
  論文  参考訳（メタデータ） (2023-08-09T12:22:49Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)
• Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models [105.4590533269863]
  完全自動プロンプト方式であるAutoSeqを提案する。 我々はシーケンス・ツー・シーケンス・モデルに自然言語プロンプトを採用する。 本手法は,数ショット学習におけるシーケンス・ツー・シーケンスモデルの可能性を明らかにする。
  論文  参考訳（メタデータ） (2022-09-20T01:35:04Z)
• PromptDA: Label-guided Data Augmentation for Prompt-based Few-shot Learners [15.130992223266734]
  本稿では,データ拡張のためのラベルの豊富なセマンティック情報を利用する新しいラベル誘導型データ拡張フレームワークであるPromptDAを提案する。 本研究は, 提案フレームワークの優れた性能を示すために, テキスト分類タスクを数ショットで行う実験である。
  論文  参考訳（メタデータ） (2022-05-18T22:15:20Z)
• Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification [15.575483080819563]
  本稿では,自動マルチラベルプロンプト(AMuLaP)を提案する。 提案手法は,1対多のラベルマッピングと統計に基づくアルゴリズムを用いて,プロンプトテンプレートを付与したラベルマッピングを選択する。 実験の結果,AMuLaPは人的労力や外部リソースを使わずにGLUEベンチマーク上での競合性能を実証した。
  論文  参考訳（メタデータ） (2022-04-13T11:15:52Z)
• Unsupervised Selective Labeling for More Effective Semi-Supervised Learning [46.414510522978425]
  教師なしの選択的なラベル付けは、与えられたラベル付きデータの最先端のアクティブラーニングよりもSSLメソッドを一貫して改善する。 私たちの仕事は、実用的で効率的なSSLの新しい標準を設定します。
  論文  参考訳（メタデータ） (2021-10-06T18:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。