論文の概要: Prompt Smart, Pay Less: Cost-Aware APO for Real-World Applications

• arxiv url: http://arxiv.org/abs/2507.15884v1
• Date: Fri, 18 Jul 2025 21:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:13.785995
• Title: Prompt Smart, Pay Less: Cost-Aware APO for Real-World Applications
• Title（参考訳）: Prompt Smart, Pay Less: 現実世界のアプリケーションのためのコスト対応APO
• Authors: Jayesh Choudhari, Piyush Kumar Singh, Douglas McIlwraith, Snehal Nair,
• Abstract要約: APEとOPROの相補的な強みを組み合わせた新しいハイブリッドフレームワークであるAPE-OPROを紹介する。 APE-OPROを, 2500個のラベル付き製品のデータセット上で, 勾配フリー(APE, OPRO)と勾配ベース(ProTeGi)の2つの手法でベンチマークした。 ProTeGiはAPIコストが低くても高い絶対性能を提供するが、Inciteprotegiが言うように計算時間も高い。
• 参考スコア（独自算出の注目度）: 1.3312007032203859
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Prompt design is a critical factor in the effectiveness of Large Language Models (LLMs), yet remains largely heuristic, manual, and difficult to scale. This paper presents the first comprehensive evaluation of Automatic Prompt Optimization (APO) methods for real-world, high-stakes multiclass classification in a commercial setting, addressing a critical gap in the existing literature where most of the APO frameworks have been validated only on benchmark classification tasks of limited complexity. We introduce APE-OPRO, a novel hybrid framework that combines the complementary strengths of APE and OPRO, achieving notably better cost-efficiency, around $18\%$ improvement over OPRO, without sacrificing performance. We benchmark APE-OPRO alongside both gradient-free (APE, OPRO) and gradient-based (ProTeGi) methods on a dataset of ~2,500 labeled products. Our results highlight key trade-offs: ProTeGi offers the strongest absolute performance at lower API cost but higher computational time as noted in~\cite{protegi}, while APE-OPRO strikes a compelling balance between performance, API efficiency, and scalability. We further conduct ablation studies on depth and breadth hyperparameters, and reveal notable sensitivity to label formatting, indicating implicit sensitivity in LLM behavior. These findings provide actionable insights for implementing APO in commercial applications and establish a foundation for future research in multi-label, vision, and multimodal prompt optimization scenarios.
• Abstract（参考訳）: PromptデザインはLarge Language Models(LLMs)の有効性において重要な要素であるが、概ねヒューリスティックで手動で、拡張が難しい。 本稿では,APOフレームワークの大部分を,限定的な複雑性のベンチマーク分類タスクのみに限定して検証した既存文献における重要なギャップに対処するため,実世界のマルチクラス分類のためのAPO(Automatic Prompt Optimization)手法の総合評価を行った。 APE-OPRO は APE と OPRO の相補的な長所を組み合わせた新しいハイブリッドフレームワークで,高いコスト効率を実現し,性能を犠牲にすることなく,OPRO を約 18 % 改善する。 APE-OPRO を 2,500 個のラベル付き製品のデータセット上で, 勾配フリー (APE, OPRO) 法と勾配ベース (ProTeGi) 法を併用してベンチマークを行った。 ProTeGiはAPIコストが低くても高い計算時間を提供するが、APE-OPROはパフォーマンス、API効率、スケーラビリティの両立を図っている。 さらに深度・幅のハイパーパラメーターのアブレーション研究を行い,ラベルフォーマッティングに対する顕著な感度を明らかにするとともに,LCMの挙動に対する暗黙的な感度を示す。 これらの結果は、商用アプリケーションにAPOを実装するための実用的な洞察を与え、マルチラベル、ビジョン、マルチモーダルプロンプト最適化シナリオにおける将来の研究の基礎を確立する。

関連論文リスト

• Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
  本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。 第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。 第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
  論文  参考訳（メタデータ） (2025-07-14T14:34:15Z)
• ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities [64.24517317344959]
  複雑なタスクにおいて、大きな言語モデルから優れたパフォーマンスを引き出すためには、高品質なプロンプトが不可欠である。 本稿では,ロールプレイングプロンプトの最適化と生成によりモデル性能を向上させるフレームワークORPPを提案する。 ORPPは一致しただけでなく、ほとんどの場合、性能の点で既存の主流のプロンプト最適化手法を上回ります。
  論文  参考訳（メタデータ） (2025-06-03T05:51:35Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Model Performance-Guided Evaluation Data Selection for Effective Prompt Optimization [12.683042228674694]
  IPOMPは、セマンティッククラスタリングとバウンダリ分析を使用して、代表的で多様なサンプルを選択する2段階のアプローチである。 我々は、IPOMPがSOTAベースラインと比較して、効率を1.6%から5.3%改善し、安定性を少なくとも57%向上させることを示した。
  論文  参考訳（メタデータ） (2025-05-15T22:41:30Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Self-Supervised Prompt Optimization [16.06653117043314]
  十分に設計されたプロンプトは、Large Language Model(LLM)推論能力の強化に不可欠である。 既存のプロンプト最適化手法は、地上の真実や人間による外部参照に大きく依存している。 本稿では,閉じたタスクとオープンなタスクの両方に効果的なプロンプトを発見する費用効率のよいフレームワークであるセルフ・スーパービジョン・プロンプト・最適化(SPO)を提案する。
  論文  参考訳（メタデータ） (2025-02-07T17:45:16Z)
• Self-Refinement Strategies for LLM-based Product Attribute Value Extraction [51.45146101802871]
  本稿では,製品属性値抽出タスクに2つの自己補充手法を適用した。 実験の結果, 2つの自己補充技術は, 処理コストを大幅に増大させながら, 抽出性能を著しく向上させることができないことがわかった。 開発データを持つシナリオでは、ファインチューニングが最もパフォーマンスが高いのに対して、ファインチューニングの上昇コストは製品記述の量が増加するにつれてバランスがとれる。
  論文  参考訳（メタデータ） (2025-01-02T12:55:27Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Token-level Proximal Policy Optimization for Query Generation [45.81132350185301]
  State-of-the-art query generation methodは、文脈理解とテキスト生成における強力な能力にLarge Language Models(LLM)を利用する。 そこで本稿では,LLMのクエリ生成性能向上を目的としたノバルアプローチである,TOken-level Proximal Policy Optimization (TPPO)を提案する。 TPPOはReinforcement Learning from AI Feedback (RLAIF)パラダイムに基づいており、トークンレベルの報酬モデルとトークンレベルのポリシー最適化モジュールで構成されている。
  論文  参考訳（メタデータ） (2024-11-01T16:36:14Z)
• Introducing MAPO: Momentum-Aided Gradient Descent Prompt Optimization [2.750784330885499]
  ProTeGi上に構築されたMAPOは、肯定的な自然言語「段階的」と運動量に基づく拡張を使用して、プロンプトを効果的に洗練する。 MAPOは、ProTeGiよりも少ないAPI呼び出しと高いF1スコアで、より速い収束時間を達成する。
  論文  参考訳（メタデータ） (2024-10-25T11:58:12Z)
• Revisiting OPRO: The Limitations of Small-Scale LLMs as Optimizers [15.809293135844756]
  比較的小規模な言語モデル(LLM)を用いた自動プロンプトのためのOPROを再検討する。 OPROは小規模なLLMにおいて限られた有効性を示し、推論能力は最適化能力を制限している。 我々は,モデル能力と計算コストの両方を考慮するために,将来的な自動プロンプトエンジニアリングを提案する。
  論文  参考訳（メタデータ） (2024-05-16T17:33:50Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。