論文の概要: StraGo: Harnessing Strategic Guidance for Prompt Optimization

• arxiv url: http://arxiv.org/abs/2410.08601v1
• Date: Fri, 11 Oct 2024 07:55:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 22:54:46.418901
• Title: StraGo: Harnessing Strategic Guidance for Prompt Optimization
• Title（参考訳）: StraGo: プロンプト最適化のための戦略的ガイダンスを損なう
• Authors: Yurong Wu, Yan Gao, Bin Benjamin Zhu, Zineng Zhou, Xiaodi Sun, Sheng Yang, Jian-Guang Lou, Zhiming Ding, Linjun Yang,
• Abstract要約: StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
• 参考スコア（独自算出の注目度）: 35.96577924228001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt engineering is pivotal for harnessing the capabilities of large language models (LLMs) across diverse applications. While existing prompt optimization methods improve prompt effectiveness, they often lead to prompt drifting, where newly generated prompts can adversely impact previously successful cases while addressing failures. Furthermore, these methods tend to rely heavily on LLMs' intrinsic capabilities for prompt optimization tasks. In this paper, we introduce StraGo (Strategic-Guided Optimization), a novel approach designed to mitigate prompt drifting by leveraging insights from both successful and failed cases to identify critical factors for achieving optimization objectives. StraGo employs a how-to-do methodology, integrating in-context learning to formulate specific, actionable strategies that provide detailed, step-by-step guidance for prompt optimization. Extensive experiments conducted across a range of tasks, including reasoning, natural language understanding, domain-specific knowledge, and industrial applications, demonstrate StraGo's superior performance. It establishes a new state-of-the-art in prompt optimization, showcasing its ability to deliver stable and effective prompt improvements.
• Abstract（参考訳）: Prompt Engineeringは、さまざまなアプリケーションにまたがる大規模言語モデル(LLM)の能力を活用する上で重要である。 既存のプロンプト最適化手法は迅速な効率を改善するが、しばしばプロンプトドリフトを引き起こし、新しく生成されたプロンプトは失敗に対処しながら、以前成功したケースに悪影響を及ぼす可能性がある。 さらに、これらの手法は最適化タスクの高速化にLLMの本質的な能力に大きく依存する傾向にある。 本稿では,StraGo(Strategic-Guided Optimization)について紹介する。これは,成功事例と失敗事例の両方から得られた知見を活用して,最適化目標を達成するための重要な要因を特定することによって,迅速なドリフトを緩和する新しいアプローチである。 StraGoはハウツードの方法論を採用し、コンテキスト内学習を統合して、具体的で実行可能な戦略を定式化し、迅速な最適化のための詳細なステップバイステップのガイダンスを提供する。 推論、自然言語理解、ドメイン固有の知識、産業応用など、広範囲にわたる大規模な実験は、StraGoの優れた性能を実証している。 迅速な最適化の新たな最先端を確立し、安定的で効果的な迅速な改善を提供する能力を示している。

関連論文リスト

• Learning from Contrastive Prompts: Automated Optimization and Adaptation [7.455360923031003]
  本稿では,高速な最適化と適応を実現するためのLCP(Learning from Contrastive Prompts)フレームワークを提案する。 LCPは、良い例と悪い例のパターンを分析することによって効果的なプロンプトを生成するために、対照的な学習を採用している。 我々のBig-Bench Hardデータセットに対する評価は、LCPが既存の最適化手法よりも76%以上勝っていることを示している。
  論文  参考訳（メタデータ） (2024-09-23T16:47:23Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Dual-Phase Accelerated Prompt Optimization [29.261886603989694]
  本稿では,高品質な初期プロンプトの生成から始まる2相アプローチを提案する。 文レベルでのプロンプトを反復的に最適化し、従来のチューニング体験を活用して、プロンプト候補を拡張し、有効なプロンプトを受け入れる。 8つのデータセットに対する実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-19T11:08:56Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
  プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。 このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。 本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases [2.6159111710501506]
  本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。 我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-02-05T15:28:43Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。