論文の概要: BatchPrompt: Accomplish more with less

• arxiv url: http://arxiv.org/abs/2309.00384v1
• Date: Fri, 1 Sep 2023 10:44:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 13:41:14.553533
• Title: BatchPrompt: Accomplish more with less
• Title（参考訳）: BatchPrompt: より少ないものに対応
• Authors: Jianzhe Lin, Maurice Diesendruck, Liang Du, Robin Abraham
• Abstract要約: 本稿では,複数のデータポイントを1つのプロンプトに計算することで問題を緩和することを目的とする。 BatchPromptの適用は、大幅なパフォーマンス低下のため、非常に難しい。 BatchPromptにBatch PermutationとEnsemblingを導入する。
• 参考スコア（独自算出の注目度）: 10.05562391575054
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Many LLMs are trained to perform zero-shot or few-shot inference using instruction-based prompts. Crafting prompts for these LLMs typically requires the user to provide a detailed task description, examples of context and completion, and single example of context for inference. This regular prompt baseline is referred to as SinglePrompt in this paper. However, for NLP tasks where each data point for inference is not necessarily lengthy, the token count for instructions and few-shot examples in the prompt may be considerably larger than that of the data point, resulting in lower token-resource utilization compared with encoder-based models like fine-tuned BERT. This cost-efficiency issue, affecting inference speed and compute budget, counteracts the many benefits LLMs have to offer. This paper aims to alleviate the preceding problem by batching multiple data points into a single prompt, a prompting strategy we refer to as BatchPrompt. This strategy increases the density of data points, which in turn leads to improved token utilization. Applying BatchPrompt naively, however, is very challenging due to significant performance degradation, as observed in our experiments. We also noticed varying inference outcomes for the same data point appearing in different positions within a prompt. To address the quality issue while remain high token-resource utilization, we introduce Batch Permutation and Ensembling for BatchPrompt, a simple way that recovers labeling quality through majority votes from data points placed in varying positions in a batch at the price of more token usage. To counterbalance the additional token usage caused by the voting process, we further propose Self-reflection-guided EArly Stopping, which can terminate the voting process early for data points the LLM confidently handles.
• Abstract（参考訳）: 多くのLDMは、命令ベースのプロンプトを使用してゼロショットまたは少数ショット推論を実行するように訓練されている。 これらのLCMのための作成プロンプトは、通常、ユーザが詳細なタスク記述、コンテキストと完了の例、推論のコンテキストの単一の例を提供する必要がある。 この通常のプロンプトベースラインは、この論文ではSinglePromptと呼ばれている。 しかし、推論のための各データポイントが必ずしも長さであるとは限らないNLPタスクの場合、命令のトークンカウントとプロンプトの少数ショット例はデータポイントよりも大幅に大きくなり、微調整BERTのようなエンコーダベースのモデルと比較してトークン/リソースの利用率が低下する可能性がある。 このコスト効率の問題は、推論速度と計算予算に影響し、LLMが提供する多くの利益に反する。 本稿では,複数のデータポイントを1つのプロンプトにバッチ化することで,先行問題を軽減することを目的としている。 この戦略はデータポイントの密度を増加させ、トークンの利用率を向上させる。 しかしながら,BatchPromptをネーティブに適用することは,我々の実験で見られるように,大幅な性能劣化のため非常に難しい。 また、プロンプト内で異なる位置に現れる同じデータポイントに対する様々な推測結果に気付きました。 トークン/リソース利用率が高いままの品質問題に対処するため,BatchPromptのバッチ置換とエンセブリングを導入し,トークン使用量が多いバッチ内のさまざまな位置に置かれるデータポイントから多数決で品質を回復する簡単な方法を提案する。 投票プロセスによる追加トークン使用量と相反するため,LLMが確実に処理するデータポイントに対して早期に投票処理を終了できる自己回帰誘導EArly Stoppingを提案する。

関連論文リスト

• FastMem: Fast Memorization of Prompt Improves Context Awareness of Large Language Models [24.030755262499994]
  FastMemは、命令を微調整した大規模言語モデルのコンテキスト認識を強化するために設計された新しい手法である。 最後のFeed-Forward Network(FFN)モジュールのみを更新することで、推論前のプロンプトの可能性を最大化する。 本実験は, 読解理解, テキスト要約, 出力構造への順守において, かなりの効果を示した。
  論文  参考訳（メタデータ） (2024-06-23T10:36:35Z)
• CliqueParcel: An Approach For Batching LLM Prompts That Jointly Optimizes Efficiency And Faithfulness [13.554160815699435]
  CliqueParcelは、推論プロセス中に大きな言語モデル(LLM)の効率を改善するように設計されている。 CliqueParcelは、広く認識されている8つのデータセットでテストされている。 この研究は推論効率に関する新しい洞察を提供し、有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-02-17T22:37:17Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
  オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。 我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。 次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。 同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
  論文  参考訳（メタデータ） (2023-10-08T04:44:36Z)
• Progressive-Hint Prompting Improves Reasoning in Large Language Models [63.98629132836499]
  本稿では,プログレッシブ・ヒント・プロンプト(PHP)と呼ばれる新しいプロンプト手法を提案する。 事前に生成された回答をヒントとして使用することで、ユーザとLLM(Large Language Models)間の自動多元的対話を可能にする。 我々は7つのベンチマークで広範囲かつ包括的な実験を行った。その結果、PHPは高い効率を保ちながら精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-04-19T16:29:48Z)
• Pre-trained Language Models Can be Fully Zero-Shot Learners [26.60008734311909]
  完全ゼロショット言語理解のための非パラメトリックプロンプト PLM (NPPrompt) を提案する。 NPPromptは事前訓練された言語モデルのみを使用し、さらなる微調整のためにラベル付きデータや追加の生コーパスを必要としない。 NPPromptは,従来の多種多様なNLPタスクにおける複数ショットとゼロショットの学習手法と比較して評価する。
  論文  参考訳（メタデータ） (2022-12-14T00:03:52Z)
• Ask Me Anything: A simple strategy for prompting language models [24.294416731247427]
  大規模言語モデル(LLM)は、単に自然言語のプロンプトを与えられただけである。 そこで本研究では,質問応答(QA)のプロンプトが,モデル出力を制限するプロンプトよりも優れていることを示す。 収集したプロンプトを適用して、入力の真のラベルに対していくつかのノイズの多い投票を行う。 プロンプトは、非常に異なる精度と複雑な依存関係を持つことができる。
  論文  参考訳（メタデータ） (2022-10-05T17:59:45Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。