論文の概要: MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

• arxiv url: http://arxiv.org/abs/2605.18869v1
• Date: Fri, 15 May 2026 14:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.75654
• Title: MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization
• Title（参考訳）: MO-CAPO:多目的コスト対応プロンプト最適化
• Authors: Jan Büssing, Moritz Schlager, Timo Heiß, Tom Zehle, Matthias Feurer,
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクで高いパフォーマンスを達成するが、設計を急速に進めるために非常に敏感である。 既存のメソッドは主にパフォーマンスのみに重点を置いており、推論コストやレイテンシといった競合する目標を無視している。 提案するMO-CAPOは,性能と推論コストを協調的に最適化する新しい多目的プロンプト最適化アルゴリズムである。
• 参考スコア（独自算出の注目度）: 3.2307940915114473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) achieve strong performance across a wide range of tasks but are highly sensitive to prompt design, motivating the need for automatic prompt optimization. Existing methods predominantly focus on performance alone, ignoring competing objectives such as inference cost or latency. At the same time, existing work on multi-objective prompt optimization relies on off-the-shelf NSGA-II, ignoring optimization efficiency. As a remedy, we introduce MO-CAPO, a novel multi-objective prompt optimization algorithm that jointly optimizes performance and inference cost while leveraging budget allocation for cost-efficient optimization. We further propose a deployment-oriented cost objective that captures the full computational profile of LLM inference. We evaluate our approach across four tasks and three LLMs and compare it to an NSGA-II-based multi-objective method and state-of-the-art single-objective prompt optimizers. Results show that MO-CAPO consistently identifies strong, robust, and diverse Pareto front approximations while maintaining cost-efficiency. It outperforms the NSGA-II baseline on 8 out of 12 cases in terms of the noisy R2 metric and achieves competitive performances often already at a considerably lower budget. The discovered solution sets span diverse performance-cost trade-offs that are omitted by single-objective optimizers, yet the top-performance candidates remain competitive with single-objective solutions. Additionally, we conduct the first evaluation of multi-objective machine learning experiments that considers generalization and robustness through noisy R2 and approximation gap, enabling a more realistic assessment of solution quality. MO-CAPO enables practitioners to select from an efficiently discovered set of multiple prompts offering different trade-offs between performance and cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって高いパフォーマンスを達成するが、設計の迅速化に非常に敏感であり、自動的なプロンプト最適化の必要性を動機付けている。 既存のメソッドは主にパフォーマンスのみに重点を置いており、推論コストやレイテンシといった競合する目標を無視している。 同時に、既存の多目的プロンプト最適化の研究は、最適化効率を無視した既製のNSGA-IIに依存している。 そこで我々はMO-CAPOを提案する。MO-CAPOは,コスト効率の最適化に予算配分を活用しつつ,性能と推論コストを協調的に最適化する新しい多目的プロンプト最適化アルゴリズムである。 さらに、LLM推論の完全な計算プロファイルをキャプチャするデプロイメント指向のコスト目標を提案する。 提案手法を4つのタスクと3つのLSMにまたがって評価し,NSGA-IIに基づく多目的法と最先端の単目的プロンプトオプティマイザと比較した。 その結果、MO-CAPOはコスト効率を維持しつつ、強力で頑健で多様なパレートフロント近似を一貫して識別していることがわかった。 NSGA-IIベースラインはノイズの多いR2メートル法で12ケース中8ケースで上回り、既にかなり低い予算で競争性能を達成している。 発見されたソリューションセットは、単目的最適化によって省略されるさまざまなパフォーマンスコストトレードオフにまたがるが、トップパフォーマンス候補は単目的ソリューションと競合するままである。 さらに、雑音R2と近似ギャップによる一般化と堅牢性を考慮し、より現実的な解品質評価を可能にする多目的機械学習実験を初めて実施する。 MO-CAPOは、効率よく発見された複数のプロンプトから、パフォーマンスとコストのトレードオフを提供することができる。

関連論文リスト

• Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings [73.44599934855067]
  LookaHESは、動的で履歴に依存したコスト環境のために設計された非心筋BOフレームワークである。 LookaHESは、$H$-Entropy Searchのマルチステップ版と、パスワイズサンプリングとニューラルポリシー最適化を組み合わせたものだ。 私たちの革新は、構造化されたドメイン固有のアクションスペースを効果的にナビゲートするために、大きな言語モデルを含むニューラルポリシーの統合です。
  論文  参考訳（メタデータ） (2026-01-10T09:49:45Z)
• MALBO: Optimizing LLM-Based Multi-Agent Teams via Multi-Objective Bayesian Optimization [0.0]
  この論文では、マルチエージェントAIチームの効率的な構成を自動化するように設計された、体系的なフレームワークであるMALBOを紹介している。 タスクの精度と推論コストの間の設定の前面を特定することを目的として,多目的最適化問題として代入課題を定式化する。 その結果、ベイズ最適化フェーズは、初期ランダム検索と比較して、平均構成コストを45%以上削減しつつ、同等な平均性能を維持した。
  論文  参考訳（メタデータ） (2025-11-14T18:01:08Z)
• Parametric Expensive Multi-Objective Optimization via Generative Solution Modeling [34.344228998247225]
  本稿では,この逆モデルについて,獲得駆動探索モデルと生成モデルとの交互に学習した最初のパラメトリック多目的ベイズモデルを提案する。 我々はタスク対応ガウス過程を通じてタスク間シナジーを活用することにより、より高速な収束を理論的に正当化する。
  論文  参考訳（メタデータ） (2025-11-12T15:13:27Z)
• Optimizing Anytime Reasoning via Budget Relative Policy Optimization [70.32755424260336]
  我々は,任意の推論性能を最適化する新しいフレームワークであるAnytimeReasonerを提案する。 従来の分布からサンプルトークンの予算に適合するように、完全な思考プロセスを切り離します。 次に、累積報酬を最大化するために、分割された方法で思考と要約ポリシーを最適化する。
  論文  参考訳（メタデータ） (2025-05-19T17:58:44Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• MORL-Prompt: An Empirical Analysis of Multi-Objective Reinforcement Learning for Discrete Prompt Optimization [45.410121761165634]
  RLに基づく手法は、ターゲット言語モデルに入力されると、ユーザ特定報酬関数の集合を最大化するプロンプトを探索するために用いられる。 現在の技術は報酬関数の平均値の最大化に重点を置いており、必ずしも報酬間の均衡を達成するプロンプトに繋がるとは限らない。
  論文  参考訳（メタデータ） (2024-02-18T21:25:09Z)
• Efficient Prompt Optimization Through the Lens of Best Arm Identification [50.56113809171805]
  この作業は、明示的な予算制約の下でプロンプト選択を効率的に行うための、原則化されたフレームワークであるTRIPLEを提供する。 マルチアームバンディット(MAB)における即時最適化と固定予算ベストアーム識別(BAI-FB)の間に確立された新しい接続上に構築されている。
  論文  参考訳（メタデータ） (2024-02-15T05:31:13Z)
• Uncertainty-Aware Search Framework for Multi-Objective Bayesian Optimization [40.40632890861706]
  高価な関数評価を用いたマルチオブジェクト(MO)ブラックボックス最適化の問題点を考察する。 UeMOと呼ばれる新しい不確実性対応検索フレームワークを提案し、評価のための入力シーケンスを効率的に選択する。
  論文  参考訳（メタデータ） (2022-04-12T16:50:48Z)
• Leveraging Trust for Joint Multi-Objective and Multi-Fidelity Optimization [0.0]
  本稿では,ベイズ的多目的・多忠実度最適化(MOMF)に対する新しいアプローチについて検討する。 複数目的とデータソースの同時最適化を支援するために,信頼度基準の革新的利用を提案する。 本手法はプラズマ物理学や流体力学などの分野におけるシミュレーション問題の解法に適用可能である。
  論文  参考訳（メタデータ） (2021-12-27T20:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。