論文の概要: GPS: Genetic Prompt Search for Efficient Few-shot Learning
- arxiv url: http://arxiv.org/abs/2210.17041v1
- Date: Mon, 31 Oct 2022 03:36:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 17:09:03.987097
- Title: GPS: Genetic Prompt Search for Efficient Few-shot Learning
- Title(参考訳): gps: 遺伝的プロンプトによる効率的なマイノリティ学習
- Authors: Hanwei Xu, Yujun Chen, Yulun Du, Nan Shao, Yanggang Wang, Haiyu Li,
Zhilin Yang
- Abstract要約: 遺伝的プロンプト探索(GPS)を導入し,プロンプトによる数発学習を改善する。
GPSは勾配のないため、モデルパラメータを更新する必要はなく、小さな検証セットのみである。
また,本手法は,プロンプトチューニングなどのパラメータ効率のよいチューニング手法よりも優れている。
- 参考スコア(独自算出の注目度): 15.28478657477945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt-based techniques have demostrated great potential for improving the
few-shot generalization of pretrained language models. However, their
performance heavily relies on the manual design of prompts and thus requires a
lot of human efforts. In this paper, we introduce Genetic Prompt Search (GPS)
to improve few-shot learning with prompts, which utilizes a genetic algorithm
to automatically search for high-performing prompts. GPS is gradient-free and
requires no update of model parameters but only a small validation set.
Experiments on diverse datasets proved the effectiveness of GPS, which
outperforms manual prompts by a large margin of 2.6 points. Our method is also
better than other parameter-efficient tuning methods such as prompt tuning.
- Abstract(参考訳): Promptベースの技術は、事前訓練された言語モデルの数ショットの一般化を改善する大きな可能性を実証している。
しかし、その性能はプロンプトの手動設計に大きく依存しており、多くの人的努力を必要とする。
本稿では,遺伝的アルゴリズムを用いて高パフォーマンスプロンプトの自動検索を行う,プロンプトを用いたマイズショット学習を改善するための遺伝的プロンプト検索(gps)を提案する。
GPSは勾配のないため、モデルパラメータを更新する必要はなく、小さな検証セットのみである。
多様なデータセットの実験によりGPSの有効性が証明され、2.6ポイントの差で手動のプロンプトを上回った。
また,提案手法は,プロンプトチューニングなどのパラメータ効率の良いチューニング手法よりも優れている。
関連論文リスト
- Visual Prompting for Generalized Few-shot Segmentation: A Multi-scale Approach [29.735863112700358]
本稿では,GFSSタスクにおいて,学習した視覚的プロンプトを用いたトランスフォーマーデコーダの有効性について検討する。
我々のゴールは、限られた例を持つ新しいカテゴリだけでなく、基本カテゴリにおけるパフォーマンスを維持することにある。
本稿では,新しいプロンプトと限られた例で学習したベースプロンプトと,豊富なデータで学習したベースプロンプトとの間に一方向因果注意機構を導入する。
論文 参考訳(メタデータ) (2024-04-17T20:35:00Z) - Test-Time Personalization with Meta Prompt for Gaze Estimation [23.01057994927244]
自然言語処理(NLP)の最近の進歩からインスピレーションを得て、テスト時間に無数のパラメータ"prompts"を更新する。
我々は、その更新が目標に合致することを確実にするために、プロンプトをメタ学習することを提案する。
実験の結果,メタ学習プロンプトは単純な対称性の損失でも効果的に適応できることがわかった。
論文 参考訳(メタデータ) (2024-01-03T07:02:35Z) - Plum: Prompt Learning using Metaheuristic [28.024094195968672]
メタヒューリスティックス(Metaheuristics)は、100以上の選択肢を持つ離散的な非視覚的最適化手法のブランチである。
パラダイム内では6つの典型的な手法をテストし、ホワイトボックスとブラックボックスのプロンプト学習の有効性を実証した。
これらの手法は、より人間に理解可能なプロンプトを発見でき、迅速な最適化の可能性のコルヌコピアへの扉を開くことができる。
論文 参考訳(メタデータ) (2023-11-14T18:14:56Z) - Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
我々はGeneInputという新しい生成入力パラダイムを提案する。
すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。
その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
論文 参考訳(メタデータ) (2023-11-02T12:01:29Z) - Automatic Prompt Optimization with "Gradient Descent" and Beam Search [64.08364384823645]
大きな言語モデル(LLM)は汎用エージェントとして優れたパフォーマンスを示しているが、その能力はプロンプトに大きく依存している。
この問題に対する単純で非パラメトリックな解である自動プロンプト最適化(APO)を提案する。
APOはデータのミニバッチを使用して、現在のプロンプトを批判する自然言語「段階的」を形成する。
次に、勾配の反対の意味方向のプロンプトを編集することで、勾配をプロンプトに「伝播」する。
論文 参考訳(メタデータ) (2023-05-04T15:15:22Z) - Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good
movie, and a good prompt too? [84.91689960190054]
大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。
特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
論文 参考訳(メタデータ) (2022-12-20T18:47:13Z) - Unified Vision and Language Prompt Learning [86.1530128487077]
本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。
主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。
両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-13T17:50:24Z) - Universal Prompt Tuning for Graph Neural Networks [10.250964386142819]
我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。
GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。
本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
論文 参考訳(メタデータ) (2022-09-30T05:19:27Z) - MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。
大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文 参考訳(メタデータ) (2022-09-23T09:01:05Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。