論文の概要: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together

• arxiv url: http://arxiv.org/abs/2407.10930v2
• Date: Mon, 7 Oct 2024 15:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 21:32:38.036702
• Title: Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together
• Title（参考訳）: ファインチューニングとプロンプト最適化:2つの素晴らしいステップ
• Authors: Dilara Soylu, Christopher Potts, Omar Khattab,
• Abstract要約: 我々は,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流タスクメトリックを最大化するための戦略を模索する。 そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 21.797319884895025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Processing (NLP) systems are increasingly taking the form of sophisticated modular pipelines, e.g., Retrieval Augmented Generation (RAG), where each module may involve a distinct Language Model (LM) and an associated prompt template. These compound systems often lack intermediate labels or gradient flow to optimize each module, making their end-to-end optimization challenging. Here we seek strategies to optimize both the module-level LM weights and the associated prompt templates of such systems to maximize a downstream task metric. We propose for the first time combining the weight and prompt optimization strategies to optimize a modular LM pipeline by alternating between the two to get the same LM to teach itself. In experiments with multi-hop QA, mathematical reasoning, and feature-based classification using mistral-7b, llama-2-7b, and llama-3-8b, these BetterTogether strategies optimizing the weights and prompts of a pipeline together outperform directly optimizing weights alone and prompts alone by up to 60% and 6%, respectively, on average across LMs and tasks. BetterTogether optimizer is released in DSPy at http://dspy.ai
• Abstract（参考訳）: 自然言語処理(NLP)システムは、例えばRetrieval Augmented Generation(RAG)のような洗練されたモジュールパイプラインの形式をますます取り入れている。 これらの複合システムは、各モジュールを最適化するための中間ラベルや勾配フローを欠いていることが多いため、エンドツーエンドの最適化は困難である。 ここでは,モジュールレベルのLM重み付けとそれに関連するプロンプトテンプレートの両方を最適化して,下流のタスクメトリックを最大化する方法を模索する。 そこで本研究では,モジュール型LMパイプラインを最適化するための重み付けと即時最適化を両立させるため,両パイプラインを交互に組み合わせて同じLMを学習する手法を提案する。 マルチホップQA、数学的推論、Mistral-7b、llama-2-7b、llama-3-8bを用いた特徴ベースの分類の実験において、これらのBetterTogether戦略は、パイプラインの重みとプロンプトを最適化し、パイプラインが直接的に重みを最適化し、それぞれ最大60%と6%のプロンプトを、平均してLMとタスク間で単独で行う。 BetterTogether Optimizationr は DSPy で http://dspy.ai でリリースされている。

関連論文リスト

• Optimizing Model Selection for Compound AI Systems [76.69936664916061]
  本稿では,複合システムにおけるモデル選択のための効率的なフレームワークを提案する。 1つのモジュールを反復的に選択し、最も高いモジュールレベルのパフォーマンスを持つモデルを割り当てます。 すべてのモジュールで同じLLMを使用する場合と比較して、5%-70%の精度向上が期待できる。
  論文  参考訳（メタデータ） (2025-02-20T18:36:25Z)
• Using Large Language Models for Parametric Shape Optimization [2.464331481632096]
  パラメータ化工学設計の最適形状を決定するための最適化フレームワーク LLM-PSO を開発した。 我々の予備調査は、LLMの形状最適化と工学設計をより広範囲に活用するためのさらなる研究を刺激する可能性がある。
  論文  参考訳（メタデータ） (2024-12-11T03:35:38Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs [40.159064885288245]
  言語モデルプログラムの即時最適化について検討する。 この問題を各モジュールのフリーフォーム命令と数発のデモの最適化に分解する。 我々は,LMプログラムを最適化する新しいアルゴリズムであるMIPROを開発した。
  論文  参考訳（メタデータ） (2024-06-17T16:12:03Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。