論文の概要: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together
- arxiv url: http://arxiv.org/abs/2407.10930v2
- Date: Mon, 07 Oct 2024 15:52:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 18:00:42.344172
- Title: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together
- Title(参考訳): ファインチューニングとプロンプト最適化:2つの素晴らしいステップ
- Authors: Dilara Soylu, Christopher Potts, Omar Khattab,
- Abstract要約: 我々は,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流タスクメトリックを最大化するための戦略を模索する。
そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。
- 参考スコア(独自算出の注目度): 21.797319884895025
- License:
- Abstract: Natural Language Processing (NLP) systems are increasingly taking the form of sophisticated modular pipelines, e.g., Retrieval Augmented Generation (RAG), where each module may involve a distinct Language Model (LM) and an associated prompt template. These compound systems often lack intermediate labels or gradient flow to optimize each module, making their end-to-end optimization challenging. Here we seek strategies to optimize both the module-level LM weights and the associated prompt templates of such systems to maximize a downstream task metric. We propose for the first time combining the weight and prompt optimization strategies to optimize a modular LM pipeline by alternating between the two to get the same LM to teach itself. In experiments with multi-hop QA, mathematical reasoning, and feature-based classification using mistral-7b, llama-2-7b, and llama-3-8b, these BetterTogether strategies optimizing the weights and prompts of a pipeline together outperform directly optimizing weights alone and prompts alone by up to 60% and 6%, respectively, on average across LMs and tasks. BetterTogether optimizer is released in DSPy at http://dspy.ai
- Abstract(参考訳): 自然言語処理(NLP)システムは、例えばRetrieval Augmented Generation(RAG)のような洗練されたモジュールパイプラインの形式をますます取り入れている。
これらの複合システムは、各モジュールを最適化するための中間ラベルや勾配フローを欠いていることが多いため、エンドツーエンドの最適化は困難である。
ここでは,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流のタスクメトリックを最大化する方法を模索する。
そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。
マルチホップQA、数学的推論、Mistral-7b、llama-2-7b、llama-3-8bを用いた特徴ベースの分類の実験において、これらのBetterTogether戦略は、パイプラインの重みとプロンプトを最適化し、パイプラインが直接的に重みを最適化し、それぞれ最大60%と6%のプロンプトを、平均してLMとタスク間で単独で行う。
BetterTogether Optimizationr は DSPy で http://dspy.ai でリリースされている。
関連論文リスト
- Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs [40.159064885288245]
言語モデルプログラム、すなわちモジュール型言語モデル(LM)コールの洗練されたパイプラインは、ますますNLPタスクを進化させつつある。
本研究では,モジュールレベルのラベルや勾配を使わずに,下流のメトリクスを最大化するためのLMプログラムの迅速な最適化について検討する。
MIPROは,最良クラスのオープンソースモデルを用いて,6種類のLMプログラムのうち5つのベースラインを上回り,その性能を向上する。
論文 参考訳(メタデータ) (2024-06-17T16:12:03Z) - Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。
私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
論文 参考訳(メタデータ) (2024-05-30T06:24:14Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳(メタデータ) (2024-02-27T15:05:32Z) - PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling [20.0605311279483]
与えられたタスクに対して,大きな言語モデル(LLM)に最適なプロンプトを見つけるための新しいフレームワークを導入する。
ProMSTには人間設計のフィードバックルールが組み込まれ、改善のための直接提案が自動的に提供される。
また、プロンプト候補から効率的にサンプリングするために、プロンプト性能を予測するための学習モデルも使用しています。
論文 参考訳(メタデータ) (2024-02-13T16:38:01Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳(メタデータ) (2023-10-27T23:24:37Z) - Large Language Models as Optimizers [106.52386531624532]
本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。
各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。
OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
論文 参考訳(メタデータ) (2023-09-07T00:07:15Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。