論文の概要: GPS: Genetic Prompt Search for Efficient Few-shot Learning

• arxiv url: http://arxiv.org/abs/2210.17041v1
• Date: Mon, 31 Oct 2022 03:36:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 17:09:03.987097
• Title: GPS: Genetic Prompt Search for Efficient Few-shot Learning
• Title（参考訳）: gps: 遺伝的プロンプトによる効率的なマイノリティ学習
• Authors: Hanwei Xu, Yujun Chen, Yulun Du, Nan Shao, Yanggang Wang, Haiyu Li, Zhilin Yang
• Abstract要約: 遺伝的プロンプト探索(GPS)を導入し,プロンプトによる数発学習を改善する。 GPSは勾配のないため、モデルパラメータを更新する必要はなく、小さな検証セットのみである。 また,本手法は,プロンプトチューニングなどのパラメータ効率のよいチューニング手法よりも優れている。
• 参考スコア（独自算出の注目度）: 15.28478657477945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based techniques have demostrated great potential for improving the few-shot generalization of pretrained language models. However, their performance heavily relies on the manual design of prompts and thus requires a lot of human efforts. In this paper, we introduce Genetic Prompt Search (GPS) to improve few-shot learning with prompts, which utilizes a genetic algorithm to automatically search for high-performing prompts. GPS is gradient-free and requires no update of model parameters but only a small validation set. Experiments on diverse datasets proved the effectiveness of GPS, which outperforms manual prompts by a large margin of 2.6 points. Our method is also better than other parameter-efficient tuning methods such as prompt tuning.
• Abstract（参考訳）: Promptベースの技術は、事前訓練された言語モデルの数ショットの一般化を改善する大きな可能性を実証している。 しかし、その性能はプロンプトの手動設計に大きく依存しており、多くの人的努力を必要とする。 本稿では,遺伝的アルゴリズムを用いて高パフォーマンスプロンプトの自動検索を行う,プロンプトを用いたマイズショット学習を改善するための遺伝的プロンプト検索(gps)を提案する。 GPSは勾配のないため、モデルパラメータを更新する必要はなく、小さな検証セットのみである。 多様なデータセットの実験によりGPSの有効性が証明され、2.6ポイントの差で手動のプロンプトを上回った。 また,提案手法は,プロンプトチューニングなどのパラメータ効率の良いチューニング手法よりも優れている。

関連論文リスト

• Differentiable Prompt Learning for Vision Language Models [49.132774679968456]
  本稿では,DPL(di differentiable prompt learning)という,識別可能なプロンプト学習手法を提案する。 DPLは最適化問題として定式化され、各層に追加するプロンプトの最適コンテキスト長を自動的に決定する。 DPL法は,限られたデータのみを用いることで,信頼性の高い深い連続的なプロンプト構成を実現できることを実証的に見出した。
  論文  参考訳（メタデータ） (2024-12-31T14:13:28Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Visual Prompting for Generalized Few-shot Segmentation: A Multi-scale Approach [29.735863112700358]
  本稿では,GFSSタスクにおいて,学習した視覚的プロンプトを用いたトランスフォーマーデコーダの有効性について検討する。 我々のゴールは、限られた例を持つ新しいカテゴリだけでなく、基本カテゴリにおけるパフォーマンスを維持することにある。 本稿では,新しいプロンプトと限られた例で学習したベースプロンプトと,豊富なデータで学習したベースプロンプトとの間に一方向因果注意機構を導入する。
  論文  参考訳（メタデータ） (2024-04-17T20:35:00Z)
• Plum: Prompt Learning using Metaheuristic [28.024094195968672]
  メタヒューリスティックス(Metaheuristics)は、100以上の選択肢を持つ離散的な非視覚的最適化手法のブランチである。 パラダイム内では6つの典型的な手法をテストし、ホワイトボックスとブラックボックスのプロンプト学習の有効性を実証した。 これらの手法は、より人間に理解可能なプロンプトを発見でき、迅速な最適化の可能性のコルヌコピアへの扉を開くことができる。
  論文  参考訳（メタデータ） (2023-11-14T18:14:56Z)
• Automatic Prompt Optimization with "Gradient Descent" and Beam Search [64.08364384823645]
  大きな言語モデル(LLM)は汎用エージェントとして優れたパフォーマンスを示しているが、その能力はプロンプトに大きく依存している。 この問題に対する単純で非パラメトリックな解である自動プロンプト最適化(APO)を提案する。 APOはデータのミニバッチを使用して、現在のプロンプトを批判する自然言語「段階的」を形成する。 次に、勾配の反対の意味方向のプロンプトを編集することで、勾配をプロンプトに「伝播」する。
  論文  参考訳（メタデータ） (2023-05-04T15:15:22Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Unified Vision and Language Prompt Learning [86.1530128487077]
  本稿では,テキストプロンプトチューニングと視覚的プロンプトチューニングという,2つの代表的プロンプトチューニング手法に関する体系的研究を行う。 主要な発見は、テキストプロンプトチューニングは、高いクラス内の視覚的ばらつきを持つデータでは失敗する一方で、視覚的プロンプトチューニングはクラス間のばらつきを低く扱えないことである。 両世界から最高のものを組み合わせるために、我々はUnified Prompt Tuning (UPT)と呼ばれる単純なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T17:50:24Z)
• Universal Prompt Tuning for Graph Neural Networks [10.250964386142819]
  我々は,任意の事前学習戦略の下で,事前学習したGNNモデルに対して,GPF(Graph Prompt Feature)と呼ばれる普遍的なプロンプトベースのチューニング手法を提案する。 GPFは入力グラフの特徴空間上で動作し、理論的には任意の形式のプロンプト関数に等価な効果を達成できる。 本手法は,事前学習戦略を応用したモデルに適用した場合,既存の特殊プロンプトベースのチューニング手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-09-30T05:19:27Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。