論文の概要: Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
- arxiv url: http://arxiv.org/abs/2404.02319v1
- Date: Tue, 2 Apr 2024 21:35:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 19:19:01.519656
- Title: Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
- Title(参考訳): Prompts as Programs: 効率的なコンパイル時プロンプト最適化のための構造認識アプローチ
- Authors: Tobias Schnabel, Jennifer Neville,
- Abstract要約: 本稿では,メタプロンプトプログラムのコンパイル時最適化のためのフレームワークSAMMOを紹介する。
SAMMOは従来の手法を一般化し,命令チューニングにおける複雑なプロンプト,(2)RAGパイプラインチューニング,(3)プロンプト圧縮の性能を向上させる。
- 参考スコア(独自算出の注目度): 14.012833238074332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can now handle longer and more complex inputs, which facilitate the use of more elaborate prompts. However, prompts often require some tuning to improve performance for deployment. Recent work has proposed automatic prompt optimization methods, but as prompt complexity and LLM strength increase, many prompt optimization techniques are no longer sufficient and a new approach is needed to optimize {\em meta prompt programs}. To address this, we introduce SAMMO, a framework for {\em compile-time} optimizations of metaprompt programs, which represent prompts as structured objects that allows for a rich set of transformations that can be searched over during optimization. We show that SAMMO generalizes previous methods and improves the performance of complex prompts on (1) instruction tuning, (2) RAG pipeline tuning, and (3) prompt compression, across several different LLMs. We make all code available open-source at https://github.com/microsoft/sammo .
- Abstract(参考訳): 大規模言語モデル(LLM)はより長い複雑な入力を扱えるようになり、より精巧なプロンプトの使用が容易になった。
しかしながら、プロンプトはデプロイメントのパフォーマンスを改善するためにいくつかのチューニングを必要とすることが多い。
最近の研究で自動的なプロンプト最適化法が提案されているが、プロンプト複雑性とLLM強度の増加に伴い、多くのプロンプト最適化技術はもはや不十分であり、メタプロンプトプログラムを最適化するには新しいアプローチが必要である。
そこで本研究では,メタプロンプトプログラムのコンパイル時最適化のためのフレームワークSAMMOを紹介し,プロンプトを構造化オブジェクトとして表現し,最適化中に検索可能な変換のリッチなセットを実現する。
SAMMO は従来の手法を一般化し,(1) 命令チューニング,(2) RAG パイプラインチューニング,(3) プロンプト圧縮における複雑なプロンプトの性能を向上させる。
すべてのコードはhttps://github.com/microsoft/sammoで公開しています。
関連論文リスト
- Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Preference Alignment [20.0605311279483]
与えられたタスクに対して,大きな言語モデル(LLM)に最適なプロンプトを見つけるための新しいフレームワークを導入する。
我々は、プロンプト候補から効率的にサンプリングするために、プロンプト性能を予測する余分な学習モデルを使用する。
このアプローチは、人間工学的なプロンプトと、11の代表的なマルチステップタスクにまたがる他のプロンプト最適化手法の両方を著しく上回っている。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases [2.6159111710501506]
本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-02-05T15:28:43Z) - MultiPrompter: Cooperative Prompt Optimization with Multi-Agent
Reinforcement Learning [68.40755873520808]
MultiPrompterは、プロンプト最適化をプロンプト間の協調ゲームと見なす新しいフレームワークである。
我々は,MultiPrompterが問題のサイズを効果的に減らし,プロンプトを最適に学習するのに役立つことを示す。
論文 参考訳(メタデータ) (2023-10-25T15:58:51Z) - Connecting Large Language Models with Evolutionary Algorithms Yields
Powerful Prompt Optimizers [70.18534453485849]
EvoPromptは離散的なプロンプト最適化のためのフレームワークである。
進化的アルゴリズム(EA)の概念は、優れた性能と高速収束を示すものである。
人為的なプロンプトと既存の方法で自動プロンプト生成を著しく上回っている。
論文 参考訳(メタデータ) (2023-09-15T16:50:09Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳(メタデータ) (2023-09-07T00:07:15Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。