論文の概要: Revisiting Automated Prompting: Are We Actually Doing Better?

• arxiv url: http://arxiv.org/abs/2304.03609v1
• Date: Fri, 7 Apr 2023 12:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 12:06:20.994279
• Title: Revisiting Automated Prompting: Are We Actually Doing Better?
• Title（参考訳）: 自動プロンプティングを再考する: 私たちは本当に良くなるのか?
• Authors: Yulin Zhou, Yiren Zhao, Ilia Shumailov, Robert Mullins, Yarin Gal
• Abstract要約: 我々は、6つの下流タスクと、より広い範囲のKショット学習設定における自動プロンプトの手法を再検討する。 自動プロンプトは、単純な手動プロンプトを一貫して上回るものではない。
• 参考スコア（独自算出の注目度）: 31.92944259475413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current literature demonstrates that Large Language Models (LLMs) are great few-shot learners, and prompting significantly increases their performance on a range of downstream tasks in a few-shot learning setting. An attempt to automate human-led prompting followed, with some progress achieved. In particular, subsequent work demonstrates automation can outperform fine-tuning in certain K-shot learning scenarios. In this paper, we revisit techniques for automated prompting on six different downstream tasks and a larger range of K-shot learning settings. We find that automated prompting does not consistently outperform simple manual prompts. Our work suggests that, in addition to fine-tuning, manual prompts should be used as a baseline in this line of research.
• Abstract（参考訳）: 現在の文献では、大規模言語モデル(llm)は優れた少数ショット学習者であり、少数ショット学習環境では、ダウンストリームタスクのパフォーマンスを大幅に向上させる。 人間の主導によるプロンプトを自動化する試みが続き、いくつかの進歩が達成された。 特に、その後の研究は、特定のKショット学習シナリオにおいて、自動化が微調整よりも優れていることを示した。 本稿では,6つの異なるダウンストリームタスクとより広い範囲のkショット学習設定を自動プロンプトする手法を再検討する。 自動プロンプトは単純な手動プロンプトを一貫して上回るものではない。 我々の研究は、微調整に加えて、手動のプロンプトをこの研究のベースラインとして使うべきであることを示唆している。

関連論文リスト

• PRewrite: Prompt Rewriting with Reinforcement Learning [23.120358549806127]
  より効率的なプロンプトに最適化されていないプロンプトを書き換える自動化手法であるPRewriteを提案する。 我々は、PRewriteの有効性を示す様々なベンチマークデータセットの実験を行う。
  論文  参考訳（メタデータ） (2024-01-16T08:04:50Z)
• Optimizing Prompts for Text-to-Image Generation [97.61295501273288]
  よく設計されたプロンプトは、テキストから画像へのモデルをガイドし、素晴らしい画像を生成する。 しかし、パフォーマンスプロンプトはモデル固有であり、ユーザ入力と不一致であることが多い。 本稿では,モデル優先のプロンプトにオリジナルのユーザ入力を自動的に適応するフレームワークであるpromise adaptを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:50:41Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Large Language Models Are Human-Level Prompt Engineers [31.98042013940282]
  本稿では,自動命令生成と選択のための自動プロンプトエンジニアを提案する。 APEを駆使したプロンプトは、真理性や情報性に対するステアモデルに適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:43:03Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models [48.0311578882384]
  訓練例やタスク記述を伴う微調整言語モデル(LM)は、最近の数発の学習の成功に欠かせないものと見なされている。 数ショット設定で微調整されたLMは、迅速なエンジニアリングの必要性を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-24T23:38:10Z)
• AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts [46.03503882865222]
  AutoPromptは、勾配誘導検索に基づいて、さまざまなタスクセットのプロンプトを作成する自動メソッドである。 マスク付き言語モデル(MLM)は,感情分析や自然言語推論を,追加パラメータや微調整を伴わずに行う能力を持つことを示す。
  論文  参考訳（メタデータ） (2020-10-29T22:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。