論文の概要: Prompt Sketching for Large Language Models

• arxiv url: http://arxiv.org/abs/2311.04954v1
• Date: Wed, 8 Nov 2023 18:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:55:11.494210
• Title: Prompt Sketching for Large Language Models
• Title（参考訳）: 大規模言語モデルのプロンプトスケッチ
• Authors: Luca Beurer-Kellner, Mark Niklas M\"uller, Marc Fischer, Martin Vechev
• Abstract要約: 大規模言語モデル(LLM)の最近のプロンプト戦略は、モデルを連続的に何度もクエリする。 これにより、不連結で好ましくない中間応答が生じる。 提案するプロンプトスケッチは,プロンプトの完了だけでなく,テンプレート内の複数の変数の値を予測することで,LLMが応答する新たなプロンプト処理パラダイムである。
• 参考スコア（独自算出の注目度）: 7.687678490751105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent prompting strategies for large language models (LLMs) query the model multiple times sequentially -- first to produce intermediate results and then the final answer. However, using these methods, both decoder and model are unaware of potential follow-up prompts, leading to disconnected and undesirably wordy intermediate responses. In this work, we address this issue by proposing prompt sketching, a new prompting paradigm in which an LLM does not only respond by completing a prompt, but by predicting values for multiple variables in a template. This way, sketching grants users more control over the generation process, e.g., by providing a reasoning framework via intermediate instructions, leading to better overall results. The key idea enabling sketching with existing, autoregressive models is to adapt the decoding procedure to also score follow-up instructions during text generation, thus optimizing overall template likelihood in inference. Our experiments show that in a zero-shot setting, prompt sketching outperforms existing, sequential prompting schemes such as direct asking or chain-of-thought on 7 out of 8 LLM benchmarking tasks, including state tracking, arithmetic reasoning, and general question answering. To facilitate future use, we release a number of generic, yet effective sketches applicable to many tasks, and an open source library called dclib, powering our sketch-aware decoders.
• Abstract（参考訳）: 大規模言語モデル(LLM)に対する最近の多くのプロンプト戦略は、モデルを逐次的にクエリする -- 最初に中間結果を生成し、最後に回答する。 しかし、これらのメソッドを使用すると、デコーダとモデルの両方が潜在的なフォローアッププロンプトを意識せず、断続的かつ望ましくない中間応答に繋がる。 本研究では,プロンプトを完了させるだけでなく,テンプレート内の複数の変数の値を予測することにより,llmが応答する新しいプロンプトパラダイムであるprompt sketchingを提案することで,この問題に対処した。 このように、スケッチによって、例えば中間命令による推論フレームワークを提供することで、生成プロセスをより制御できるようになり、全体的な結果が改善される。 既存の自己回帰モデルでスケッチを可能にする重要なアイデアは、デコード手順に適応してテキスト生成中に追従命令をスコアアップすることで、推論における全体的なテンプレート可能性の最適化である。 実験では,ゼロショット設定では,状態追跡,算術推論,一般的な質問応答といった8つのllmベンチマークタスクのうち7つにおいて,直接質問やチェーン・オブ・マインドといった既存の逐次的プロンプトスキームよりもプロンプトスケッチが優れていることを示す。 将来の使用を容易にするために、多くのタスクに適用可能な汎用的で効果的なスケッチと、sketch-awareデコーダを駆動するdclibと呼ばれるオープンソースライブラリをリリースします。

関連論文リスト

• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Monotonic Paraphrasing Improves Generalization of Language Model Prompting [42.74429247000797]
  MonoParaはエンド・ツー・エンドのデコーディング戦略であり、プロンプトや命令を下位のパープレクティリティに言い換える。 いかなる訓練も必要とせず、単調に言い換えられたプロンプトや命令の難易度を下げることができる。 また、乱雑なタスク命令に対するLMの一般化を効果的に改善することが示されている。
  論文  参考訳（メタデータ） (2024-03-24T06:49:07Z)
• Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
  本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。 モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。 提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
  論文  参考訳（メタデータ） (2024-02-28T16:35:52Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• AutoHint: Automatic Prompt Optimization with Hint Generation [11.737818328656735]
  本稿では,大規模言語モデル(LLM)の自動プロンプトエンジニアリングと最適化のための新しいフレームワークであるAutoHintを提案する。 本稿では,インテキスト学習とゼロショット学習の両方の利点を継承する枠組みを提案する。 エンリッチメントをヒントと呼び、ラベル付きデータからヒントを自動的に生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-13T00:49:27Z)
• Boosted Prompt Ensembles for Large Language Models [38.402161594793775]
  チェーン・オブ・ソート・プロンプトや自己整合性といった手法は、追加のトレーニングを伴わずに、言語モデル推論のパフォーマンスのフロンティアを押し上げている。 大規模言語モデルのためのプロンプトアンサンブル手法を提案する。これは、小さなデータセットを用いて、強化されたプロンプトアンサンブルを構成する一連のショットプロンプトを構成する。」 これにより,GSM8kおよびAQuAデータセットにおいて,単一プロンプトの出力空間アンサンブルとタグ付きプロンプト空間アンサンブルより優れることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:47:15Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。