論文の概要: Automatic Prompt Selection for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.02717v1
• Date: Wed, 3 Apr 2024 13:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 17:21:13.398329
• Title: Automatic Prompt Selection for Large Language Models
• Title（参考訳）: 大規模言語モデルの自動プロンプト選択
• Authors: Viet-Tung Do, Van-Khanh Hoang, Duy-Hung Nguyen, Shahab Sabahi, Jeff Yang, Hajime Hotta, Minh-Tien Nguyen, Hung Le,
• Abstract要約: 本稿では,与えられた入力に対する最適プロンプトを,有限個の合成候補プロンプトから自動的に選択する効果的な手法を提案する。 本手法は,資源集約型トレーニングと推論の必要性を排除し,汎用性に即したバランスをとる。 GSM8K、MultiArithm、AQuAといったゼロショット質問回答データセット上での競合性能を示している。
• 参考スコア（独自算出の注目度）: 22.73421169410049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) can perform various natural language processing tasks with suitable instruction prompts. However, designing effective prompts manually is challenging and time-consuming. Existing methods for automatic prompt optimization either lack flexibility or efficiency. In this paper, we propose an effective approach to automatically select the optimal prompt for a given input from a finite set of synthetic candidate prompts. Our approach consists of three steps: (1) clustering the training data and generating candidate prompts for each cluster using an LLM-based prompt generator; (2) synthesizing a dataset of input-prompt-output tuples for training a prompt evaluator to rank the prompts based on their relevance to the input; (3) using the prompt evaluator to select the best prompt for a new input at test time. Our approach balances prompt generality-specificity and eliminates the need for resource-intensive training and inference. It demonstrates competitive performance on zero-shot question-answering datasets: GSM8K, MultiArith, and AQuA.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語処理タスクを適切な命令プロンプトで実行することができる。 しかし、効果的なプロンプトを手動で設計するのは難しく、時間がかかる。 自動的なプロンプト最適化のための既存の方法には、柔軟性や効率性が欠けている。 本稿では,与えられた入力に対する最適プロンプトを,有限集合の合成候補プロンプトから自動的に選択する効果的な手法を提案する。 提案手法は,(1)学習データをクラスタ化し,LSMベースのプロンプト生成器を用いて各クラスタの候補プロンプトを生成すること,(2)プロンプト評価器をトレーニングするためのインプット・プロンプト・アウトプット・タプルのデータセットを合成すること,(3)プロンプト評価器を用いてテスト時に新しいインプットの最適なプロンプトを選択すること,の3つのステップから構成される。 本手法は,資源集約型トレーニングと推論の必要性を排除し,汎用性に即したバランスをとる。 GSM8K、MultiArith、AQuAといったゼロショット質問回答データセット上での競合性能を示している。

関連論文リスト

• Task Facet Learning: A Structured Approach to Prompt Optimization [14.223730629357178]
  本稿では,タスクの複数の面をトレーニング例から学習するアルゴリズムを提案する。 結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルで構成されている。 複数のデータセットと実世界のタスクに対する経験的評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトよりも高い精度が得られることを示している。
  論文  参考訳（メタデータ） (2024-06-15T04:54:26Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• AutoHint: Automatic Prompt Optimization with Hint Generation [11.737818328656735]
  本稿では,大規模言語モデル(LLM)の自動プロンプトエンジニアリングと最適化のための新しいフレームワークであるAutoHintを提案する。 本稿では,インテキスト学習とゼロショット学習の両方の利点を継承する枠組みを提案する。 エンリッチメントをヒントと呼び、ラベル付きデータからヒントを自動的に生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-13T00:49:27Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。