論文の概要: GRAD-SUM: Leveraging Gradient Summarization for Optimal Prompt Engineering

• arxiv url: http://arxiv.org/abs/2407.12865v1
• Date: Fri, 12 Jul 2024 19:11:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 20:02:37.908931
• Title: GRAD-SUM: Leveraging Gradient Summarization for Optimal Prompt Engineering
• Title（参考訳）: GRAD-SUM: 最適プロンプトエンジニアリングのためのグラディエント要約の活用
• Authors: Derek Austin, Elliott Chartock,
• Abstract要約: 本稿では,自動プロンプトエンジニアリングのためのスケーラブルでフレキシブルなGRAD-SUMを紹介する。 提案手法は,ユーザ定義タスク記述と評価基準を取り入れ,新しい勾配要約モジュールを特徴とする。 この結果から, GRAD-SUMは, 様々なベンチマークにおいて, 既存の手法よりも一貫した性能を示した。
• 参考スコア（独自算出の注目度）: 0.2877502288155167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt engineering for large language models (LLMs) is often a manual time-intensive process that involves generating, evaluating, and refining prompts iteratively to ensure high-quality outputs. While there has been work on automating prompt engineering, the solutions generally are either tuned to specific tasks with given answers or are quite costly. We introduce GRAD-SUM, a scalable and flexible method for automatic prompt engineering that builds on gradient-based optimization techniques. Our approach incorporates user-defined task descriptions and evaluation criteria, and features a novel gradient summarization module to generalize feedback effectively. Our results demonstrate that GRAD-SUM consistently outperforms existing methods across various benchmarks, highlighting its versatility and effectiveness in automatic prompt optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)のプロンプトエンジニアリングは、しばしば、高品質な出力を保証するために反復的にプロンプトの生成、評価、精製を含む手動の時間集約プロセスである。 迅速なエンジニアリングを自動化する作業は行われているが、ソリューションは一般的に、与えられた回答で特定のタスクに調整されるか、非常にコストがかかる。 GRAD-SUMは、勾配に基づく最適化技術に基づく自動プロンプトエンジニアリングのためのスケーラブルで柔軟な手法である。 提案手法では,ユーザ定義タスク記述と評価基準を取り入れ,フィードバックを効果的に一般化する新たな勾配要約モジュールを特徴とする。 この結果から, GRAD-SUMは様々なベンチマークで既存の手法よりも優れており, 自動プロンプト最適化における汎用性と有効性を強調している。

関連論文リスト

• APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking [39.649879274238856]
  APEERという新しい自動プロンプトエンジニアリングアルゴリズムを導入する。 APEERはフィードバックと好みの最適化を通じて改良されたプロンプトを反復的に生成する。 実験では、既存の最先端(SoTA)マニュアルプロンプトよりもAPEERの性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-20T16:11:45Z)
• PromptWizard: Task-Aware Agent-driven Prompt Optimization Framework [2.976441974750401]
  大規模言語モデル(LLM)は、さまざまな領域にわたるAIに革命をもたらし、目覚ましい能力を示している。 彼らの成功の中心は、モデル出力生成を導くプロンプトの概念である。 本稿では,特定のタスクに適したプロンプトを反復的に合成・洗練するためにLLMを利用する新しいフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• AutoHint: Automatic Prompt Optimization with Hint Generation [11.737818328656735]
  本稿では,大規模言語モデル(LLM)の自動プロンプトエンジニアリングと最適化のための新しいフレームワークであるAutoHintを提案する。 本稿では,インテキスト学習とゼロショット学習の両方の利点を継承する枠組みを提案する。 エンリッチメントをヒントと呼び、ラベル付きデータからヒントを自動的に生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-13T00:49:27Z)
• Mechanic: A Learning Rate Tuner [52.4242550204696]
  我々は,任意の基本最適化アルゴリズムの学習率尺度係数を調整し,自動的にスケジュールする手法を導入し,それをテクスチャメカニックと呼ぶ。 各種バッチサイズ,スケジュール,基本最適化アルゴリズムを用いて,大規模深層学習タスクにおけるテクスチャメカニックを厳格に評価する。
  論文  参考訳（メタデータ） (2023-05-31T19:32:43Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。