論文の概要: BatchPrompt: Accomplish more with less

• arxiv url: http://arxiv.org/abs/2309.00384v2
• Date: Tue, 5 Sep 2023 23:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 18:17:53.935394
• Title: BatchPrompt: Accomplish more with less
• Title（参考訳）: BatchPrompt: より少ないものに対応
• Authors: Jianzhe Lin, Maurice Diesendruck, Liang Du, Robin Abraham
• Abstract要約: BatchPromptはトークン制限内でデータをバッチする効率的な方法である。 効率を保ち、性能損失を克服するために、バッチの置換と組立を提案する。 これは、大規模言語モデルの高速化を技術的に改善する最初の試みである。
• 参考スコア（独自算出の注目度）: 10.05562391575054
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As the ever-increasing token limits of large language models (LLMs) have enabled long context as input, prompting with single data samples might no longer an efficient way. A straightforward strategy improving efficiency is to batch data within the token limit (e.g., 8k for gpt-3.5-turbo; 32k for GPT-4), which we call BatchPrompt. We have two initial observations for prompting with batched data. First, we find that prompting with batched data in longer contexts will inevitably lead to worse performance, compared to single-data prompting. Second, the performance of the language model is significantly correlated with the positions and order of the batched data, due to the corresponding change in decoder context. To retain efficiency and overcome performance loss, we propose Batch Permutation and Ensembling (BPE), and a novel Self-reflection-guided EArly Stopping (SEAS) technique. Our comprehensive experimental evaluation demonstrates that BPE can boost the performance of BatchPrompt with a striking margin on a range of popular NLP tasks, including question answering (Boolq), textual entailment (RTE), and duplicate questions identification (QQP). These performances are even competitive with/higher than single-data prompting(SinglePrompt), while BatchPrompt requires much fewer LLM calls and input tokens (For SinglePrompt v.s. BatchPrompt with batch size 32, using just 9%-16% the number of LLM calls, Boolq accuracy 90.6% to 90.9% with 27.4% tokens, QQP accuracy 87.2% to 88.4% with 18.6% tokens, RTE accuracy 91.5% to 91.1% with 30.8% tokens). To the best of our knowledge, this is the first work to technically improve prompting efficiency of large language models. We hope our simple yet effective approach will shed light on the future research of large language models. The code will be released.
• Abstract（参考訳）: 大規模言語モデル(LLM)のトークン制限が拡大するにつれて、入力として長時間のコンテキストが可能になったため、単一のデータサンプルの使用はもはや効率的な方法ではないかもしれない。 BatchPromptと呼ばれるトークン制限(gpt-3.5-turboは8k、GPT-4は32k)内でデータをバッチする。 バッチデータでプロンプトする最初の2つの観測結果がある。 まず、より長いコンテキストでのバッチデータによるプロンプトは、必然的に、シングルデータプロンプトに比べてパフォーマンスを悪化させる。 第2に、デコーダのコンテキストの変化により、言語モデルの性能はバッチデータの位置と順序と大きく相関する。 効率を保ち,性能損失を克服するために,BPE(Batch Permutation and Ensembling)と,SEAS(Self-reflection-guided EArly Stopping)技術を提案する。 包括的実験により,bpeは,質問応答(boolq),テキスト記述(rte),重複質問識別(qqp)など,一般的なnlpタスクにおいて極めて高いマージンでバッチプロンプトの性能を向上できることが実証された。 これらのパフォーマンスはシングルデータのプロンプト(SinglePrompt)よりもはるかに少ないが、BatchPromptはLLM呼び出しと入力トークンをはるかに少なくする(SinglePrompt v.s. BatchPromptはバッチサイズ32で、わずか9%-16%、LLM呼び出しの90.6%から90.9%、27.4%、QQP精度87.2%から88.4%、RTE精度91.5%から91.1%、30.8%)。 私たちの知る限りでは、これは大規模な言語モデルの促進効率を技術的に改善する最初の仕事です。 我々のシンプルで効果的なアプローチが、大きな言語モデルの将来の研究に光を当てることを願っています。 コードはリリースされます。

関連論文リスト

• FastMem: Fast Memorization of Prompt Improves Context Awareness of Large Language Models [24.030755262499994]
  FastMemは、命令を微調整した大規模言語モデルのコンテキスト認識を強化するために設計された新しい手法である。 最後のFeed-Forward Network(FFN)モジュールのみを更新することで、推論前のプロンプトの可能性を最大化する。 本実験は, 読解理解, テキスト要約, 出力構造への順守において, かなりの効果を示した。
  論文  参考訳（メタデータ） (2024-06-23T10:36:35Z)
• CliqueParcel: An Approach For Batching LLM Prompts That Jointly Optimizes Efficiency And Faithfulness [13.554160815699435]
  CliqueParcelは、推論プロセス中に大きな言語モデル(LLM)の効率を改善するように設計されている。 CliqueParcelは、広く認識されている8つのデータセットでテストされている。 この研究は推論効率に関する新しい洞察を提供し、有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-02-17T22:37:17Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Progressive-Hint Prompting Improves Reasoning in Large Language Models [63.98629132836499]
  本稿では,プログレッシブ・ヒント・プロンプト(PHP)と呼ばれる新しいプロンプト手法を提案する。 事前に生成された回答をヒントとして使用することで、ユーザとLLM(Large Language Models)間の自動多元的対話を可能にする。 我々は7つのベンチマークで広範囲かつ包括的な実験を行った。その結果、PHPは高い効率を保ちながら精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T16:29:48Z)
• Pre-trained Language Models Can be Fully Zero-Shot Learners [26.60008734311909]
  完全ゼロショット言語理解のための非パラメトリックプロンプト PLM (NPPrompt) を提案する。 NPPromptは事前訓練された言語モデルのみを使用し、さらなる微調整のためにラベル付きデータや追加の生コーパスを必要としない。 NPPromptは,従来の多種多様なNLPタスクにおける複数ショットとゼロショットの学習手法と比較して評価する。
  論文  参考訳（メタデータ） (2022-12-14T00:03:52Z)
• Ask Me Anything: A simple strategy for prompting language models [24.294416731247427]
  大規模言語モデル(LLM)は、単に自然言語のプロンプトを与えられただけである。 そこで本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
  論文  参考訳（メタデータ） (2022-10-05T17:59:45Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。