論文の概要: Task Facet Learning: A Structured Approach to Prompt Optimization

• arxiv url: http://arxiv.org/abs/2406.10504v1
• Date: Sat, 15 Jun 2024 04:54:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 00:12:44.295175
• Title: Task Facet Learning: A Structured Approach to Prompt Optimization
• Title（参考訳）: Task Facet Learning: プロンプト最適化のための構造化アプローチ
• Authors: Gurusha Juneja, Nagarajan Natarajan, Hua Li, Jian Jiao, Amit Sharma,
• Abstract要約: 本稿では,タスクの複数の面をトレーニング例から学習するアルゴリズムを提案する。 結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルで構成されている。 複数のデータセットと実世界のタスクに対する経験的評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトよりも高い精度が得られることを示している。
• 参考スコア（独自算出の注目度）: 14.223730629357178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a task in the form of a basic description and its training examples, prompt optimization is the problem of synthesizing the given information into a text prompt for a large language model (LLM). Humans solve this problem by also considering the different facets that define a task (e.g., counter-examples, explanations, analogies) and including them in the prompt. However, it is unclear whether existing algorithmic approaches, based on iteratively editing a given prompt or automatically selecting a few in-context examples, can cover the multiple facets required to solve a complex task. In this work, we view prompt optimization as that of learning multiple facets of a task from a set of training examples. We identify and exploit structure in the prompt optimization problem -- first, we find that prompts can be broken down into loosely coupled semantic sections that have a relatively independent effect on the prompt's performance; second, we cluster the input space and use clustered batches so that the optimization procedure can learn the different facets of a task across batches. The resulting algorithm, UniPrompt, consists of a generative model to generate initial candidates for each prompt section; and a feedback mechanism that aggregates suggested edits from multiple mini-batches into a conceptual description for the section. Empirical evaluation on multiple datasets and a real-world task shows that prompts generated using UniPrompt obtain higher accuracy than human-tuned prompts and those from state-of-the-art methods. In particular, our algorithm can generate long, complex prompts that existing methods are unable to generate. Code for UniPrompt will be available at \url{https://aka.ms/uniprompt}.
• Abstract（参考訳）: 基本記述とその訓練例の形式でタスクを与えられた場合、与えられた情報を大言語モデル(LLM)のためのテキストプロンプトに合成する問題である。 人間は、タスク(例えば、反例、説明、類推)を定義し、それらをプロンプトに含める異なるファセットも考慮して、この問題を解決する。 しかし、与えられたプロンプトを反復的に編集するか、あるいはいくつかのインコンテキストの例を自動的に選択した既存のアルゴリズムアプローチが、複雑なタスクを解くのに必要な複数のファセットをカバーできるかどうかは不明である。 本研究では,一連の学習例からタスクの複数の面を学習する手法として,プロンプト最適化を考察する。 まず、プロンプトが疎結合なセマンティックセクションに分解され、プロンプトのパフォーマンスに比較的独立した効果が与えられることを発見します。次に、入力空間をクラスタ化し、クラスタ化されたバッチを使用して、最適化手順がバッチ間でタスクの異なる側面を学習できるようにします。 結果のアルゴリズムであるUniPromptは、各プロンプトセクションの初期候補を生成する生成モデルと、複数のミニバッチから提案された編集を集約してセクションの概念記述にまとめるフィードバックメカニズムで構成されている。 複数のデータセットと実世界のタスクに関する実証的な評価は、UniPromptを使って生成されたプロンプトが、人間のチューニングしたプロンプトと最先端の手法によるプロンプトよりも高い精度が得られることを示している。 特に,我々のアルゴリズムは,既存の手法では生成できない,長く複雑なプロンプトを生成することができる。 UniPromptのコードは \url{https://aka.ms/uniprompt} で入手できる。

関連論文リスト

• Automatic Prompt Selection for Large Language Models [22.73421169410049]
  本稿では,与えられた入力に対する最適プロンプトを,有限個の合成候補プロンプトから自動的に選択する効果的な手法を提案する。 本手法は,資源集約型トレーニングと推論の必要性を排除し,汎用性に即したバランスをとる。 GSM8K、MultiArithm、AQuAといったゼロショット質問回答データセット上での競合性能を示している。
  論文  参考訳（メタデータ） (2024-04-03T13:20:24Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Prompt Space Optimizing Few-shot Reasoning Success with Large Language Models [7.453926835095568]
  プロンプトエンジニアリングにより、算術的推論、質問応答、要約、関係抽出、機械翻訳、感情分析などの様々なタスクにおいて、大きな言語モデル(LLM)が優れている。 現在のアプローチでは、最適なプロンプトを決定するための厳密な数学的解決策が欠如している。 提案手法では,テキスト埋め込みを用いて行列分解による基底ベクトルを取得し,すべてのプロンプトを表す空間を構築する。
  論文  参考訳（メタデータ） (2023-06-06T15:43:16Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。