論文の概要: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together

• arxiv url: http://arxiv.org/abs/2407.10930v2
• Date: Mon, 7 Oct 2024 15:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:32:38.036702
• Title: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together
• Title（参考訳）: ファインチューニングとプロンプト最適化:2つの素晴らしいステップ
• Authors: Dilara Soylu, Christopher Potts, Omar Khattab,
• Abstract要約: 我々は,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流タスクメトリックを最大化するための戦略を模索する。 そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 21.797319884895025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing (NLP) systems are increasingly taking the form of sophisticated modular pipelines, e.g., Retrieval Augmented Generation (RAG), where each module may involve a distinct Language Model (LM) and an associated prompt template. These compound systems often lack intermediate labels or gradient flow to optimize each module, making their end-to-end optimization challenging. Here we seek strategies to optimize both the module-level LM weights and the associated prompt templates of such systems to maximize a downstream task metric. We propose for the first time combining the weight and prompt optimization strategies to optimize a modular LM pipeline by alternating between the two to get the same LM to teach itself. In experiments with multi-hop QA, mathematical reasoning, and feature-based classification using mistral-7b, llama-2-7b, and llama-3-8b, these BetterTogether strategies optimizing the weights and prompts of a pipeline together outperform directly optimizing weights alone and prompts alone by up to 60% and 6%, respectively, on average across LMs and tasks. BetterTogether optimizer is released in DSPy at http://dspy.ai
• Abstract（参考訳）: 自然言語処理(NLP)システムは、例えばRetrieval Augmented Generation(RAG)のような洗練されたモジュールパイプラインの形式をますます取り入れている。 これらの複合システムは、各モジュールを最適化するための中間ラベルや勾配フローを欠いていることが多いため、エンドツーエンドの最適化は困難である。 ここでは,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流のタスクメトリックを最大化する方法を模索する。 そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。 マルチホップQA、数学的推論、Mistral-7b、llama-2-7b、llama-3-8bを用いた特徴ベースの分類の実験において、これらのBetterTogether戦略は、パイプラインの重みとプロンプトを最適化し、パイプラインが直接的に重みを最適化し、それぞれ最大60%と6%のプロンプトを、平均してLMとタスク間で単独で行う。 BetterTogether Optimizationr は DSPy で http://dspy.ai でリリースされている。

関連論文リスト

• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs [40.159064885288245]
  言語モデルプログラムの即時最適化について検討する。 この問題を各モジュールのフリーフォーム命令と数発のデモの最適化に分解する。 我々は,LMプログラムを最適化する新しいアルゴリズムであるMIPROを開発した。
  論文  参考訳（メタデータ） (2024-06-17T16:12:03Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Multilevel leapfrogging initialization for quantum approximate optimization algorithm [3.126276325914251]
  深層量子アルゴリズムのランニングコストを削減するため,MLI(Multilevel Leapfrogging Interpolation)戦略が提案されている。 その結果,MLI は InterP と同じ準オプティマを達成でき,InterP が必要とするランニングコストの 1/2 しか消費できないことがわかった。 greedy-MLIは、同じ準オプティマを得る以上の安定性(すなわち平均近似比)を持つ。
  論文  参考訳（メタデータ） (2023-06-12T09:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。