論文の概要: Dual-Phase Accelerated Prompt Optimization

• arxiv url: http://arxiv.org/abs/2406.13443v2
• Date: Wed, 02 Oct 2024 11:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:17:29.259259
• Title: Dual-Phase Accelerated Prompt Optimization
• Title（参考訳）: Dual-Phase Accelerated Prompt Optimization
• Authors: Muchen Yang, Moxin Li, Yongle Li, Zijun Chen, Chongming Gao, Junqi Zhang, Yangyang Li, Fuli Feng,
• Abstract要約: 本稿では,高品質な初期プロンプトの生成から始まる2相アプローチを提案する。 文レベルでのプロンプトを反復的に最適化し、従来のチューニング体験を活用して、プロンプト候補を拡張し、有効なプロンプトを受け入れる。 8つのデータセットに対する実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 29.261886603989694
• License:
• Abstract: Gradient-free prompt optimization methods have made significant strides in enhancing the performance of closed-source Large Language Models (LLMs) across a wide range of tasks. However, existing approaches make light of the importance of high-quality prompt initialization and the identification of effective optimization directions, thus resulting in substantial optimization steps to obtain satisfactory performance. In this light, we aim to accelerate prompt optimization process to tackle the challenge of low convergence rate. We propose a dual-phase approach which starts with generating high-quality initial prompts by adopting a well-designed meta-instruction to delve into task-specific information, and iteratively optimize the prompts at the sentence level, leveraging previous tuning experience to expand prompt candidates and accept effective ones. Extensive experiments on eight datasets demonstrate the effectiveness of our proposed method, achieving a consistent accuracy gain over baselines with less than five optimization steps.
• Abstract（参考訳）: グラディエントフリーなプロンプト最適化手法は,幅広いタスクにまたがるクローズドソース大規模言語モデル(LLM)の性能向上に大きく貢献している。 しかし、既存の手法は、高品質な迅速な初期化の重要性と効率的な最適化方向の同定を考慮し、良好な性能を得るためのかなりの最適化ステップをもたらす。 本稿では,低収束率の課題に取り組むために,迅速な最適化プロセスの高速化を目指す。 本稿では,タスク固有の情報を探索するための優れたメタインストラクションを採用して,高品質な初期プロンプトの生成から始まる2相アプローチを提案し,文レベルでのプロンプトを反復的に最適化し,従来のチューニング経験を活用して,プロンプト候補を拡張し,有効なプロンプトを受理する。 8つのデータセットの大規模な実験により提案手法の有効性が示され、5段階未満の最適化ステップでベースラインよりも一貫した精度向上が達成された。

関連論文リスト

• StraGo: Harnessing Strategic Guidance for Prompt Optimization [35.96577924228001]
  StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-10-11T07:55:42Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。