論文の概要: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together

• arxiv url: http://arxiv.org/abs/2407.10930v1
• Date: Mon, 15 Jul 2024 17:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:00:49.037882
• Title: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together
• Title（参考訳）: ファインチューニングとプロンプト最適化:2つの素晴らしいステップ
• Authors: Dilara Soylu, Christopher Potts, Omar Khattab,
• Abstract要約: すべてのパイプラインステージでトレーニングラベルをブートストラップして,パイプラインのプロンプトを最適化し,重みを微調整する,近似最適化戦略を評価する。 プロンプトとウェイトを同時に最適化するための単純なアプローチは、直接的にウェイトのみを最適化し、平均してLMとタスクで最大65%と5%のプロンプトを単独で生成する。
• 参考スコア（独自算出の注目度）: 21.797319884895025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing (NLP) systems are increasingly taking the form of multi-stage pipelines involving multiple distinct language models (LMs) and prompting strategies. Here we address the question of how to fine-tune such systems to improve their performance. We cast this as a problem of optimizing the underlying LM weights and the prompting strategies together, and consider a challenging but highly realistic scenario in which we have no gold labels for any intermediate stages in the pipeline. To address this challenge, we evaluate approximate optimization strategies in which we bootstrap training labels for all pipeline stages and use these to optimize the pipeline's prompts and fine-tune its weights alternatingly. In experiments with multi-hop QA, mathematical reasoning, and feature-based classification, we find that simple approaches for optimizing the prompts and weights together outperform directly optimizing weights alone and prompts alone by up to 65% and 5%, respectively, on average across LMs and tasks. We will release our new optimizers in DSPy at http://dspy.ai
• Abstract（参考訳）: 自然言語処理(NLP)システムは、複数の異なる言語モデル(LM)とプロンプト戦略を含む多段階パイプラインの形式をますます取り入れている。 ここでは、このようなシステムを微調整して性能を向上するかという問題に対処する。 我々はこれを、基盤となるLM重みとプロンプト戦略をまとめて最適化する問題とみなし、パイプラインの中間段階に金のラベルがないという難題だが非常に現実的なシナリオを考察した。 この課題に対処するために、パイプラインステージ毎にトレーニングラベルをブートストラップし、これらを使用してパイプラインのプロンプトを最適化し、重みを微調整する、近似最適化戦略を評価した。 マルチホップQA, 数学的推論, 特徴に基づく分類を用いた実験では, プロンプトとウェイトを同時に最適化するための単純なアプローチが, 平均してLMとタスク間で, ウェイトを直接最適化し, 最大65%, 5%のプロンプトを単独で生成する。 DSPyの新しいオプティマイザはhttp://dspy.aiで公開します。

関連論文リスト

• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs [40.159064885288245]
  言語モデルプログラムの即時最適化について検討する。 この問題を各モジュールのフリーフォーム命令と数発のデモの最適化に分解する。 我々は,LMプログラムを最適化する新しいアルゴリズムであるMIPROを開発した。
  論文  参考訳（メタデータ） (2024-06-17T16:12:03Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Multilevel leapfrogging initialization for quantum approximate optimization algorithm [3.126276325914251]
  深層量子アルゴリズムのランニングコストを削減するため,MLI(Multilevel Leapfrogging Interpolation)戦略が提案されている。 その結果,MLI は InterP と同じ準オプティマを達成でき,InterP が必要とするランニングコストの 1/2 しか消費できないことがわかった。 greedy-MLIは、同じ準オプティマを得る以上の安定性(すなわち平均近似比)を持つ。
  論文  参考訳（メタデータ） (2023-06-12T09:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。