論文の概要: PromptWise: Online Learning for Cost-Aware Prompt Assignment in Generative Models
- arxiv url: http://arxiv.org/abs/2505.18901v2
- Date: Sun, 02 Nov 2025 01:07:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-04 16:14:22.03361
- Title: PromptWise: Online Learning for Cost-Aware Prompt Assignment in Generative Models
- Title(参考訳): PromptWise: 生成モデルにおけるコスト対応型プロンプトアサインメントのためのオンライン学習
- Authors: Xiaoyan Hu, Lauren Pick, Ho-fung Leung, Farzan Farnia,
- Abstract要約: 本稿では,生成モデルにプロンプトを割り当てるオンライン学習フレームワークPromptWiseを紹介する。
PromptWiseは、十分なアウトプットを提供する最小価格のモデルを選択するために、迅速なモデル互換性を見積もる。
PromptWiseは,コストを大幅に削減しつつ,ベースライン選択手法に匹敵する性能を実現することができることを示す。
- 参考スコア(独自算出の注目度): 35.18314154881731
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid advancement of generative AI has provided users with a wide range of well-trained models to address diverse prompts. When selecting a model for a given prompt, users should weigh not only its performance but also its service cost. However, existing model-selection methods typically emphasize performance while overlooking cost differences. In this paper, we introduce PromptWise, an online learning framework that assigns prompts to generative models in a cost-aware manner. PromptWise estimates prompt-model compatibility to select the least expensive model expected to deliver satisfactory outputs. Unlike standard contextual bandits that make a one-shot decision per prompt, PromptWise employs a cost-aware bandit structure that allows sequential model assignments per prompt to reduce total service cost. Through numerical experiments on tasks such as code generation and translation, we demonstrate that PromptWise can achieve performance comparable to baseline selection methods while incurring substantially lower costs. The code is available at: github.com/yannxiaoyanhu/PromptWise.
- Abstract(参考訳): 生成AIの急速な進歩は、多様なプロンプトに対処するための、幅広い訓練されたモデルを提供する。
与えられたプロンプトのモデルを選択する場合、ユーザーはパフォーマンスだけでなくサービスコストも考慮すべきである。
しかし、既存のモデル選択手法は一般的にコスト差を見越しながら性能を強調している。
本稿では,コストを意識して生成モデルにプロンプトを割り当てるオンライン学習フレームワークPromptWiseを紹介する。
PromptWiseは、十分なアウトプットを提供する最小価格のモデルを選択するために、迅速なモデル互換性を見積もる。
PromptWiseは、プロンプト毎のワンショット決定を行う標準的なコンテキストブライトとは異なり、コストを意識したブライト構造を採用しており、プロンプト毎のシーケンシャルモデル割り当てを可能にして、サービスコストを削減している。
コード生成や翻訳などのタスクに関する数値実験を通じて,PromptWiseは,コストを大幅に削減しつつ,ベースライン選択法に匹敵する性能を実現することができることを示した。
コードは、github.com/yannxiaoyanhu/PromptWiseで入手できる。
関連論文リスト
- Models Under SCOPE: Scalable and Controllable Routing via Pre-hoc Reasoning [28.165465162107253]
コストと性能を予測してモデル選択を超えるルーティングフレームワークであるSCOPEを提案する。
SCOPEは、モデル名の固定に依存するのではなく、モデルがどのように同様の問題に対処するかを検索することで、推論に基づく予測を行う。
性能が優先される場合の精度を最大25.7%向上させるか、効率が重要な場合のコストを最大95.1%削減することができる。
論文 参考訳(メタデータ) (2026-01-29T21:09:36Z) - Don't Start Over: A Cost-Effective Framework for Migrating Personalized Prompts Between LLMs [51.79252689855809]
LLM(Large Language Models)におけるパーソナライゼーションは、しばしばユーザ固有のソフトプロンプトに依存する。
非互換モデル間でパーソナライズされたプロンプトを効率的に移行するフレームワークであるPrompt-level User Migration Adapter (PUMA)を提案する。
3つの大規模データセットの実験では、我々の手法が一致しているか、あるいはスクラッチから再トレーニングのパフォーマンスを上回り、計算コストを最大98%削減する。
論文 参考訳(メタデータ) (2026-01-17T12:30:31Z) - PromptBridge: Cross-Model Prompt Transfer for Large Language Models [28.175276092083735]
大規模言語モデル(LLM)は、コード生成、数学的推論、エージェントベースの推論における応用の基盤となっている。
あるモデルのために設計されたプロンプトを別のモデルで再利用すると、ターゲットモデルに最適化されたプロンプトよりも大幅にパフォーマンスが低下する。
PromptBridgeはトレーニング不要のフレームワークで、モデルスイッチ下での迅速な有効性を維持する。
論文 参考訳(メタデータ) (2025-12-01T08:55:45Z) - Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。
提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
論文 参考訳(メタデータ) (2025-10-08T18:24:59Z) - Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。
CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
論文 参考訳(メタデータ) (2025-08-17T20:16:44Z) - TRPrompt: Bootstrapping Query-Aware Prompt Optimization from Textual Rewards [9.107586166322923]
本稿では,テキストフィードバックをプロンプトモデルのトレーニングに組み込むことでアプローチを統一する,テキスト・リワード・プロンプト・フレームワーク(TRPrompt)を紹介する。
我々のフレームワークは、事前のデータセット収集を必要とせず、生成されたプロンプトに対するフィードバックによって反復的に改善されている。
LLMの能力と結合して「良い」プロンプトとは何かという概念を内包すると、テキスト報酬によって提供される高分解能信号は、最先端のクエリ固有のプロンプトを生成するプロンプトモデルを訓練することができる。
論文 参考訳(メタデータ) (2025-07-24T17:54:44Z) - Reasoning Models are Test Exploiters: Rethinking Multiple-Choice [10.085788712670487]
大きな言語モデル (LLMs) は、質問応答ドメインの固定された選択セットの中から選択するよう求められます。
McQCA(Multi-choice Question-Awering)は、チェーン・オブ・シークレット・推論の実行が許される限り、モデルの下流のパフォーマンスのよいプロキシである。
我々は、MCQAはもはや最先端モデルの下流性能を評価するための良いプロキシではないと結論付けている。
論文 参考訳(メタデータ) (2025-07-21T07:49:32Z) - Cost-Aware Routing for Efficient Text-To-Image Generation [19.848723289971208]
本稿では,その複雑さに応じて,各プロンプト毎に計算量を変動させるフレームワークを提案する。
私たちは、COCOとDiffusionDBで、すでに訓練された9つのテキスト・ツー・イメージモデルへのルートを学ぶことで、これらのモデルだけで達成可能な平均品質を提供することができることを実証的に示しています。
論文 参考訳(メタデータ) (2025-06-17T17:48:50Z) - ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities [64.24517317344959]
複雑なタスクにおいて、大きな言語モデルから優れたパフォーマンスを引き出すためには、高品質なプロンプトが不可欠である。
本稿では,ロールプレイングプロンプトの最適化と生成によりモデル性能を向上させるフレームワークORPPを提案する。
ORPPは一致しただけでなく、ほとんどの場合、性能の点で既存の主流のプロンプト最適化手法を上回ります。
論文 参考訳(メタデータ) (2025-06-03T05:51:35Z) - Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation [55.42794740244581]
本稿では,シンプルなユーザプロンプトをテキスト・ツー・イメージ・モデルに洗練されたプロンプトに変換するための新しいプロンプト最適化フレームワークを提案する。
具体的には、ユーザプロンプトを書き換えるために大きな視覚言語モデル(LVLM)を使用し、同時にLVLMを報酬モデルとして使用し、最適化されたプロンプトによって生成された画像の美学とアライメントをスコアする。
努力的な人間のフィードバックの代わりに、私たちはLVLMの以前の知識を利用して報酬、すなわちAIフィードバックを提供します。
論文 参考訳(メタデータ) (2025-05-22T15:05:07Z) - LightRouter: Towards Efficient LLM Collaboration with Minimal Overhead [19.573553157421774]
Lightは、より大きなプールからLLMの小さなサブセットを体系的に選択、統合するために設計された新しいフレームワークである。
実験によると、光は広く使われているアンサンブルのベースラインと一致し、25%の精度向上を実現している。
本研究は、効率的なLCM選択のための実践的なアプローチを導入し、モデル組み合わせのための最適な戦略に関する貴重な洞察を提供する。
論文 参考訳(メタデータ) (2025-05-22T04:46:04Z) - EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。
提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。
視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2025-03-19T16:07:04Z) - Exploring Task-Level Optimal Prompts for Visual In-Context Learning [20.34945396590862]
本稿では,推論段階におけるプロンプトの探索コストを削減するためのタスクレベルプロンプトを提案する。
提案手法は最適に近いプロンプトを同定し,最小限のコストで最高のVICL性能が得られることを示す。
論文 参考訳(メタデータ) (2025-01-15T14:52:20Z) - Pricing and Competition for Generative AI [3.8677478583601776]
われわれは、新しい生成AIソフトウェアの開発者がどのようにして技術をリリースし、価格を下げるかという課題を探求する。
まず、ユーザコスト効率に関して、特定のタスクに対する2つの異なるモデルの比較を行う。
次に、生成AIソフトウェアの価格問題を、2つの異なる企業間のゲームとしてモデル化する。
論文 参考訳(メタデータ) (2024-11-04T22:52:45Z) - PAK-UCB Contextual Bandit: An Online Learning Approach to Prompt-Aware Selection of Generative Models and LLMs [38.167419614117044]
本研究では,与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。
提案したPAK-UCBアルゴリズムは、腕に共通するコンテキスト変数を持つコンテキスト帯域(CB)設定に対処する。
実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
論文 参考訳(メタデータ) (2024-10-17T07:33:35Z) - Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection [40.85209520973634]
理想的なモデル選択スキームは、候補モデルの大きなプール上で2つの操作を効率的にサポートすべきである。
モデル選択に対する従来の解決策は、これらの2つの操作のうちの少なくとも1つに対して高い計算複雑性を必要とする。
モデル埋め込みを実証的に実現したStandardized Embedderを提案する。
論文 参考訳(メタデータ) (2024-06-11T17:57:49Z) - Efficient Prompt Optimization Through the Lens of Best Arm Identification [50.56113809171805]
この作業は、明示的な予算制約の下でプロンプト選択を効率的に行うための、原則化されたフレームワークであるTRIPLEを提供する。
マルチアームバンディット(MAB)における即時最適化と固定予算ベストアーム識別(BAI-FB)の間に確立された新しい接続上に構築されている。
論文 参考訳(メタデータ) (2024-02-15T05:31:13Z) - Modeling Choice via Self-Attention [8.394221523847325]
注意に基づく選択モデルはHalo Multinomial Logit(Halo-MNL)モデルの低最適一般化であることを示す。
また、実データから選択を推定するための最初の現実的な尺度を確立し、既存のモデルの評価を行う。
論文 参考訳(メタデータ) (2023-11-11T11:13:07Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳(メタデータ) (2023-01-30T20:59:30Z) - Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。
マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。
実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:48:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。