論文の概要: Exploring Lottery Prompts for Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2305.19500v1
• Date: Wed, 31 May 2023 02:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:59:39.733789
• Title: Exploring Lottery Prompts for Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルのための宝くじ探索
• Authors: Yulin Chen, Ning Ding, Xiaobin Wang, Shengding Hu, Hai-Tao Zheng, Zhiyuan Liu, Pengjun Xie
• Abstract要約: インスタンスレベルのプロンプトとその一般化可能性について検討する。 いずれの場合も、ほとんどの場合、PLMから正しい予測を誘導する宝くじプロンプトがある。 一部の強力な宝くじプロンプトは、トレーニングセット全体に対して高いパフォーマンスを持つ。
• 参考スコア（独自算出の注目度）: 46.66885465183664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistently scaling pre-trained language models (PLMs) imposes substantial burdens on model adaptation, necessitating more efficient alternatives to conventional fine-tuning. Given the advantage of prompting in the zero-shot setting and the observed performance fluctuation among different prompts, we explore the instance-level prompt and their generalizability. By searching through the prompt space, we first validate the assumption that for every instance, there is almost always a lottery prompt that induces the correct prediction from the PLM, and such prompt can be obtained at a low cost thanks to the inherent ability of PLMs. Meanwhile, we find that some strong lottery prompts have high performance over the whole training set, and they are equipped with distinguishable linguistic features. Lastly, we attempt to generalize the searched strong lottery prompts to unseen data with prompt ensembling method without any parameter tuning. Experiments are conducted on various types of NLP classification tasks and demonstrate that the proposed method can achieve comparable results with other gradient-free and optimization-free baselines.
• Abstract（参考訳）: 継続的に事前訓練された言語モデル(PLM)をスケールすることは、モデル適応にかなりの負担を課し、従来の微調整よりも効率的な代替手段を必要とする。 ゼロショット設定のプロンプトと異なるプロンプト間の観測性能変動の利点を考慮し、インスタンスレベルのプロンプトとその一般化可能性について検討する。 プロンプト空間を探索することで、我々はまず、各インスタンスに対して、ほぼ常に、plmから正しい予測を誘発する抽選プロンプトが存在し、plmの固有の能力により、そのようなプロンプトを低コストで得ることができるという仮定を検証する。 一方で,強い抽選プロンプトがトレーニングセット全体に対して高いパフォーマンスを示し,識別可能な言語的特徴を備えていることが判明した。 最後に,探索した強宝くじのプロンプトをパラメータチューニングを伴わずに,素早いアンサンブル方式で非表示化しようとする。 様々なnlp分類タスクについて実験を行い,提案手法が他の勾配フリーおよび最適化フリーのベースラインと同等の結果が得られることを示す。

関連論文リスト

• Large Language Models Prompting With Episodic Memory [53.8690170372303]
  本稿では,POEM(PrOmpting with Episodic Memory)を提案する。 テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。 その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T11:19:28Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• Contrastive Demonstration Tuning for Pre-trained Language Models [59.90340768724675]
  デモの例は、プロンプトチューニングの優れた最終パフォーマンスに不可欠である。 提案手法は次の通りである: (i) 従来の急速学習アプローチにプラグイン; (ii) 多数のカテゴリを持つ広範囲な分類タスクに拡張。 16のデータセットに対する実験結果から,従来のLM-BFFとP-tuningを統合した手法により,性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-04-09T05:30:48Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。