Fugu-MT 論文翻訳(概要): Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting

論文の概要: Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting

arxiv url: http://arxiv.org/abs/2410.01724v1
Date: Wed, 2 Oct 2024 16:34:40 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 15:43:48.637406
Title: Auto-Demo Prompting: Leveraging Generated Outputs as Demonstrations for Enhanced Batch Prompting
Title（参考訳）: 自動デモプロンプト: バッチプロンプト強化の実証として生成した出力を活用する
Authors: Longyu Feng, Mengze Hong, Chen Jason Zhang,
Abstract要約: 自動デモ(Auto-Demo Prompting)は、初期質問からの問合せペアを、その後の回答推論の実証としてバッチ内で活用する、新しいアプローチである。本手法は,バッチプロンプトと少数ショットプロンプトのギャップを効果的に埋め,トークン使用率のわずかな妥協だけで性能を向上する。
参考スコア（独自算出の注目度）: 0.8238423959893132
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Batch prompting is a common technique in large language models (LLMs) used to process multiple inputs simultaneously, aiming to improve computational efficiency. However, as batch sizes increase, performance degradation often occurs due to the model's difficulty in handling lengthy context inputs. Existing methods that attempt to mitigate these issues rely solely on batch data arrangement and majority voting rather than improving the design of the batch prompt itself. In this paper, we address these limitations by proposing "Auto-Demo Prompting," a novel approach that leverages the question-output pairs from earlier questions within a batch as demonstrations for subsequent answer inference. We provide a formal theoretical analysis of how Auto-Demo Prompting functions within the autoregressive generation process of LLMs, illustrating how it utilizes prior outputs to optimize the model's internal representations. Our method effectively bridges the gap between batch prompting and few-shot prompting, enhancing performance with only a slight compromise in token usage. Experimental results across five NLP tasks demonstrate its effectiveness in mitigating performance degradation and occasionally outperforming single prompts. Furthermore, it opens new avenues for applying few-shot learning techniques, such as demonstration selection, within batch prompting, making it a robust solution for real-world applications.
Abstract（参考訳）: バッチプロンプト(英: Batch prompting)は、複数の入力を同時に処理するために使用される大規模言語モデル(LLM)において一般的な手法であり、計算効率の向上を目的としている。しかし、バッチサイズが大きくなると、長いコンテキスト入力を扱うのが難しいため、しばしば性能劣化が発生する。これらの問題を緩和しようとする既存の方法は、バッチプロンプト自体の設計を改善するのではなく、バッチデータアレンジメントと多数決にのみ依存する。本稿では,これらの制約に対処するために,初期質問からの問合せペアをバッチ内に導入した新しい手法である"Auto-Demo Prompting"を提案する。 LLMの自己回帰生成プロセスにおけるオートデモプロンプト関数の形式的理論的解析を行い、モデルの内部表現の最適化に先行出力をどのように利用するかを説明する。本手法は,バッチプロンプトと少数ショットプロンプトのギャップを効果的に埋め,トークン使用率のわずかな妥協だけで性能を向上する。 5つのNLPタスクにまたがる実験結果は、性能劣化を軽減し、時には1つのプロンプトよりも優れた性能を示す。さらに、バッチプロンプト内でのデモ選択など、数発の学習テクニックを適用するための新たな道を開くことで、現実世界のアプリケーションに堅牢なソリューションを提供する。

関連論文リスト

Robustness-aware Automatic Prompt Optimization [45.43458098928881]
本稿では,入力摂動に耐えられる新しいプロンプト生成法であるBATpromptを提案する。敵の訓練技術に触発されて、BATpromptは様々な摂動タスクで強いパフォーマンスを示す。言語理解タスクと生成タスクの両方にわたる複数のデータセット上で,BATpromptを評価する。
論文参考訳（メタデータ） (2024-12-24T06:05:08Z)
Hyperband-based Bayesian Optimization for Black-box Prompt Selection [15.756224286651237]
下流タスクにおける大規模言語モデル(LLM)のパフォーマンスを最大化するためには、最適なプロンプト選択が不可欠である。我々は、ブラックボックスプロンプト選択のための新しいハイパバンドベースのベイズ最適化手法であるHbBoPsを紹介する。提案手法では,マルチファイダリティスケジューラとしてHyperbandを用いて,構造を意識したディープカーネルガウス処理を用いて,プロンプト性能をモデル化する。
論文参考訳（メタデータ） (2024-12-10T14:42:51Z)
BATON: Enhancing Batch-wise Inference Efficiency for Large Language Models via Dynamic Re-batching [4.610983384440473]
本稿では,処理バッチを動的に調整し,効率的なバッチ単位のLLM推論手法であるBATONを提案する。最先端のソリューションであるOrcaと比較して、BATONはクエリ処理を最大1.75倍改善する。
論文参考訳（メタデータ） (2024-10-24T12:53:39Z)
QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文参考訳（メタデータ） (2024-08-20T03:06:48Z)
Large Language Models Prompting With Episodic Memory [53.8690170372303]
本稿では,POEM(PrOmpting with Episodic Memory)を提案する。テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
論文参考訳（メタデータ） (2024-08-14T11:19:28Z)
Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文参考訳（メタデータ） (2024-05-25T08:23:05Z)
OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文参考訳（メタデータ） (2023-05-24T10:08:04Z)
Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文参考訳（メタデータ） (2022-06-04T10:08:50Z)
IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
論文参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。