論文の概要: Ask Me Anything: A simple strategy for prompting language models

• arxiv url: http://arxiv.org/abs/2210.02441v2
• Date: Thu, 6 Oct 2022 06:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:00:31.649788
• Title: Ask Me Anything: A simple strategy for prompting language models
• Title（参考訳）: Ask Me Anything: 言語モデルを促進するためのシンプルな戦略
• Authors: Simran Arora, Avanika Narayan, Mayee F. Chen, Laurel Orr, Neel Guha, Kush Bhatia, Ines Chami, Frederic Sala, Christopher R\'e
• Abstract要約: 大規模言語モデル(LLM)は、単に自然言語のプロンプトを与えられただけである。 そこで本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
• 参考スコア（独自算出の注目度）: 24.294416731247427
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large language models (LLMs) transfer well to new tasks out-of-the-box simply given a natural language prompt that demonstrates how to perform the task and no additional training. Prompting is a brittle process wherein small modifications to the prompt can cause large variations in the model predictions, and therefore significant effort is dedicated towards designing a painstakingly "perfect prompt" for a task. To mitigate the high degree of effort involved in prompt-design, we instead ask whether producing multiple effective, yet imperfect, prompts and aggregating them can lead to a high quality prompting strategy. Our observations motivate our proposed prompting method, ASK ME ANYTHING (AMA). We first develop an understanding of the effective prompt formats, finding that question-answering (QA) prompts, which encourage open-ended generation ("Who went to the park?") tend to outperform those that restrict the model outputs ("John went to the park. Output True or False."). Our approach recursively uses the LLM itself to transform task inputs to the effective QA format. We apply the collected prompts to obtain several noisy votes for the input's true label. We find that the prompts can have very different accuracies and complex dependencies and thus propose to use weak supervision, a procedure for combining the noisy predictions, to produce the final predictions for the inputs. We evaluate AMA across open-source model families (e.g., EleutherAI, BLOOM, OPT, and T0) and model sizes (125M-175B parameters), demonstrating an average performance lift of 10.2% over the few-shot baseline. This simple strategy enables the open-source GPT-J-6B model to match and exceed the performance of few-shot GPT3-175B on 15 of 20 popular benchmarks. Averaged across these tasks, the GPT-Neo-6B model outperforms few-shot GPT3-175B. We release our code here: https://github.com/HazyResearch/ama_prompting
• Abstract（参考訳）: 大規模言語モデル(LLM)は、単にタスクの実行方法を示す自然言語プロンプトを与えられただけで、追加のトレーニングは行われない。 プロンプティング(英: Prompting)は、プロンプトへの小さな変更がモデル予測に大きなバリエーションを引き起こすという不安定なプロセスである。 プロンプトデザインに関わる高い労力を軽減するために、複数の効果的だが不完全なプロンプトを作成し、それらを集約することで高品質なプロンプト戦略につながるかどうかを問う。 我々の観測は提案手法であるASK ME ANYTHING (AMA) を動機付けている。 まず、有効なプロンプト形式を理解し、QA(Qanguage-Awering)プロンプトがオープンエンド生成を促進する(Who went the park?)ことを発見し、モデル出力を制限するプロンプトよりも優れている(John went the park. Output True or False.)。 提案手法では,LLM自体を用いてタスク入力を効率的なQA形式に変換する。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 提案手法では,プロンプトの精度と複雑な依存性が全く異なる場合があり,ノイズ予測を組み合わせるための弱い監督手法を用いて入力の最終的な予測を行う。 オープンソースモデルファミリ(例えばEleutherAI, BLOOM, OPT, T0)とモデルサイズ(125M-175Bパラメータ)でAMAを評価し, 少数のベースラインに対して平均10.2%の性能向上を示した。 この単純な戦略により、オープンソースのGPT-J-6Bモデルは、20のベンチマークのうち15のベンチマークにおいて、数ショットのGPT3-175Bの性能にマッチし、超えることができる。 GPT-Neo-6BはGPT3-175Bより優れている。 コードはここでリリースします。 https://github.com/hazyresearch/ama_prompting

関連論文リスト

• On Meta-Prompting [18.949285430843695]
  これらのアプローチをメタプロンプトと呼ぶか、あるいはプロンプトを得るよう促す。 本稿では,圏論に基づく理論的枠組みを提案し,それらを一般化し記述する。
  論文  参考訳（メタデータ） (2023-12-11T17:46:44Z)
• Lightweight Boosting Models for User Response Prediction Using Adversarial Validation [2.4040470282119983]
  ShareChatが主催するACM RecSys Challenge 2023は、アプリがインストールされる確率を予測することを目的としている。 本稿では,この課題に対する軽量な解決策について述べる。
  論文  参考訳（メタデータ） (2023-10-05T13:57:05Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
  Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。 我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
  論文  参考訳（メタデータ） (2023-05-30T08:34:13Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。