論文の概要: CAPO: Cost-Aware Prompt Optimization

• arxiv url: http://arxiv.org/abs/2504.16005v3
• Date: Fri, 25 Apr 2025 15:27:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.802192
• Title: CAPO: Cost-Aware Prompt Optimization
• Title（参考訳）: CAPO: コストを意識したプロンプト最適化
• Authors: Tom Zehle, Moritz Schlager, Timo Heiß, Matthias Feurer,
• Abstract要約: 大規模言語モデル(LLM)は、単にプロンプトによって導かれる幅広いタスクを解くことで、自然言語処理に革命をもたらした。 本稿では,AutoML技術を統合することにより,迅速な最適化効率を向上させるアルゴリズムCAPOを紹介する。 実験の結果,CAPOは11/15例において21%pまで改善された場合において,最先端の離散的プロンプト最適化法よりも優れていた。
• 参考スコア（独自算出の注目度）: 3.0290544952776854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have revolutionized natural language processing by solving a wide range of tasks simply guided by a prompt. Yet their performance is highly sensitive to prompt formulation. While automated prompt optimization addresses this challenge by finding optimal prompts, current methods require a substantial number of LLM calls and input tokens, making prompt optimization expensive. We introduce CAPO (Cost-Aware Prompt Optimization), an algorithm that enhances prompt optimization efficiency by integrating AutoML techniques. CAPO is an evolutionary approach with LLMs as operators, incorporating racing to save evaluations and multi-objective optimization to balance performance with prompt length. It jointly optimizes instructions and few-shot examples while leveraging task descriptions for improved robustness. Our extensive experiments across diverse datasets and LLMs demonstrate that CAPO outperforms state-of-the-art discrete prompt optimization methods in 11/15 cases with improvements up to 21%p. Our algorithm achieves better performances already with smaller budgets, saves evaluations through racing, and decreases average prompt length via a length penalty, making it both cost-efficient and cost-aware. Even without few-shot examples, CAPO outperforms its competitors and generally remains robust to initial prompts. CAPO represents an important step toward making prompt optimization more powerful and accessible by improving cost-efficiency.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、単にプロンプトによって導かれる幅広いタスクを解くことで、自然言語処理に革命をもたらした。 しかし、それらの性能は迅速な定式化に非常に敏感である。 自動的なプロンプト最適化は最適なプロンプトを見つけることでこの問題に対処するが、現在の手法ではかなりの数のLLMコールと入力トークンを必要とするため、プロンプト最適化は高価である。 本稿では、AutoML技術を統合することにより、迅速な最適化効率を向上させるアルゴリズムであるCAPO(Cost-Aware Prompt Optimization)を紹介する。 CAPO は LLM を演算子として進化的なアプローチであり、評価を節約するためのレースと、性能と迅速な長さのバランスをとるための多目的最適化を取り入れている。 改善された堅牢性のためにタスク記述を活用しながら、命令といくつかの例を共同で最適化する。 多様なデータセットとLCMにわたる広範な実験により、CAPOは11/15ケースで最先端の離散的なプロンプト最適化手法より優れ、最大21%の精度で改善されていることが示された。 提案アルゴリズムは,より少ない予算でより優れた性能を実現し,レースによる評価を削減し,長さペナルティによる平均プロンプト長を低減し,コスト効率とコストを両立させる。 少数の例がなくても、CAPOは競争相手よりも優れており、初期プロンプトに対して概して堅牢である。 CAPOは、コスト効率を向上させることにより、迅速な最適化をより強力でアクセスしやすいものにするための重要なステップである。

関連論文リスト

• Local Prompt Optimization [0.6906005491572401]
  Local Prompt Optimizationは、任意の一般的な自動プロンプトエンジニアリング手法と統合される。 我々は,Math Reasoning(GSM8kとMultiArithm)とBIG-bench Hardベンチマークの性能改善を観察した。
  論文  参考訳（メタデータ） (2025-04-29T01:45:47Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• SCULPT: Systematic Tuning of Long Prompts [17.00433893207345]
  本稿では,迅速な最適化を階層木改良問題として扱うフレームワークを提案する。 SCULPTはプロンプトをツリー構造として表現し、コンテキスト整合性を維持しながらターゲット変更を可能にする。 より安定し、解釈可能なプロンプト修正を生成し、タスク間のより良い一般化を保証する。
  論文  参考訳（メタデータ） (2024-10-28T07:10:10Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。