論文の概要: PromptWise: Online Learning for Cost-Aware Prompt Assignment in Generative Models

• arxiv url: http://arxiv.org/abs/2505.18901v1
• Date: Sat, 24 May 2025 23:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.736217
• Title: PromptWise: Online Learning for Cost-Aware Prompt Assignment in Generative Models
• Title（参考訳）: PromptWise: 生成モデルにおけるコスト対応型プロンプトアサインメントのためのオンライン学習
• Authors: Xiaoyan Hu, Lauren Pick, Ho-fung Leung, Farzan Farnia,
• Abstract要約: 本稿では,大規模な言語モデル群に一連のプロンプトを割り当てるオンライン学習フレームワークPromptWiseを紹介する。 PromptWiseはまず、より安価なモデルを戦略的にクエリし、低コストモデルが与えられたプロンプトに適切に対応できない場合にのみ、より高価なオプションに進化する。 結果は、PromptWiseがコストを意識しないベースラインメソッドを一貫して上回っていることを浮き彫りにした。
• 参考スコア（独自算出の注目度）: 22.732551029493987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of generative AI models has provided users with numerous options to address their prompts. When selecting a generative AI model for a given prompt, users should consider not only the performance of the chosen model but also its associated service cost. The principle guiding such consideration is to select the least expensive model among the available satisfactory options. However, existing model-selection approaches typically prioritize performance, overlooking pricing differences between models. In this paper, we introduce PromptWise, an online learning framework designed to assign a sequence of prompts to a group of large language models (LLMs) in a cost-effective manner. PromptWise strategically queries cheaper models first, progressing to more expensive options only if the lower-cost models fail to adequately address a given prompt. Through numerical experiments, we demonstrate PromptWise's effectiveness across various tasks, including puzzles of varying complexity and code generation/translation tasks. The results highlight that PromptWise consistently outperforms cost-unaware baseline methods, emphasizing that directly assigning prompts to the most expensive models can lead to higher costs and potentially lower average performance.
• Abstract（参考訳）: 生成AIモデルの急速な進歩は、ユーザにそのプロンプトに対処する多くのオプションを提供してきた。 与えられたプロンプトに対して生成AIモデルを選択する場合、ユーザーは選択したモデルのパフォーマンスだけでなく、関連するサービスコストも考慮すべきである。 このような考慮を導く原則は、利用可能な満足度オプションの中で最低価格のモデルを選択することである。 しかしながら、既存のモデル選択アプローチは、通常、モデル間の価格差を見越して、パフォーマンスを優先する。 本稿では,大規模言語モデル群(LLM)に一連のプロンプトを代入するオンライン学習フレームワークであるPromptWiseを紹介する。 PromptWiseはまず、より安価なモデルを戦略的にクエリし、低コストモデルが与えられたプロンプトに適切に対応できない場合にのみ、より高価なオプションに進化する。 数値実験を通じて,複雑度やコード生成/翻訳タスクのパズルなど,さまざまなタスクにまたがるPromptWiseの有効性を示す。 その結果、PromptWiseはコストを意識しないベースラインメソッドを一貫して上回り、最も高価なモデルに直接プロンプトを割り当てることによってコストが上がり、平均パフォーマンスが低下する可能性があることを強調した。

関連論文リスト

• Models Under SCOPE: Scalable and Controllable Routing via Pre-hoc Reasoning [28.165465162107253]
  コストと性能を予測してモデル選択を超えるルーティングフレームワークであるSCOPEを提案する。 SCOPEは、モデル名の固定に依存するのではなく、モデルがどのように同様の問題に対処するかを検索することで、推論に基づく予測を行う。 性能が優先される場合の精度を最大25.7%向上させるか、効率が重要な場合のコストを最大95.1%削減することができる。
  論文  参考訳（メタデータ） (2026-01-29T21:09:36Z)
• Don't Start Over: A Cost-Effective Framework for Migrating Personalized Prompts Between LLMs [51.79252689855809]
  LLM(Large Language Models)におけるパーソナライゼーションは、しばしばユーザ固有のソフトプロンプトに依存する。 非互換モデル間でパーソナライズされたプロンプトを効率的に移行するフレームワークであるPrompt-level User Migration Adapter (PUMA)を提案する。 3つの大規模データセットの実験では、我々の手法が一致しているか、あるいはスクラッチから再トレーニングのパフォーマンスを上回り、計算コストを最大98%削減する。
  論文  参考訳（メタデータ） (2026-01-17T12:30:31Z)
• PromptBridge: Cross-Model Prompt Transfer for Large Language Models [28.175276092083735]
  大規模言語モデル(LLM)は、コード生成、数学的推論、エージェントベースの推論における応用の基盤となっている。 あるモデルのために設計されたプロンプトを別のモデルで再利用すると、ターゲットモデルに最適化されたプロンプトよりも大幅にパフォーマンスが低下する。 PromptBridgeはトレーニング不要のフレームワークで、モデルスイッチ下での迅速な有効性を維持する。
  論文  参考訳（メタデータ） (2025-12-01T08:55:45Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)
• Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
  我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。 CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
  論文  参考訳（メタデータ） (2025-08-17T20:16:44Z)
• TRPrompt: Bootstrapping Query-Aware Prompt Optimization from Textual Rewards [9.107586166322923]
  本稿では,テキストフィードバックをプロンプトモデルのトレーニングに組み込むことでアプローチを統一する,テキスト・リワード・プロンプト・フレームワーク(TRPrompt)を紹介する。 我々のフレームワークは、事前のデータセット収集を必要とせず、生成されたプロンプトに対するフィードバックによって反復的に改善されている。 LLMの能力と結合して「良い」プロンプトとは何かという概念を内包すると、テキスト報酬によって提供される高分解能信号は、最先端のクエリ固有のプロンプトを生成するプロンプトモデルを訓練することができる。
  論文  参考訳（メタデータ） (2025-07-24T17:54:44Z)
• Reasoning Models are Test Exploiters: Rethinking Multiple-Choice [10.085788712670487]
  大きな言語モデル (LLMs) は、質問応答ドメインの固定された選択セットの中から選択するよう求められます。 McQCA(Multi-choice Question-Awering)は、チェーン・オブ・シークレット・推論の実行が許される限り、モデルの下流のパフォーマンスのよいプロキシである。 我々は、MCQAはもはや最先端モデルの下流性能を評価するための良いプロキシではないと結論付けている。
  論文  参考訳（メタデータ） (2025-07-21T07:49:32Z)
• Cost-Aware Routing for Efficient Text-To-Image Generation [19.848723289971208]
  本稿では,その複雑さに応じて,各プロンプト毎に計算量を変動させるフレームワークを提案する。 私たちは、COCOとDiffusionDBで、すでに訓練された9つのテキスト・ツー・イメージモデルへのルートを学ぶことで、これらのモデルだけで達成可能な平均品質を提供することができることを実証的に示しています。
  論文  参考訳（メタデータ） (2025-06-17T17:48:50Z)
• ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities [64.24517317344959]
  複雑なタスクにおいて、大きな言語モデルから優れたパフォーマンスを引き出すためには、高品質なプロンプトが不可欠である。 本稿では,ロールプレイングプロンプトの最適化と生成によりモデル性能を向上させるフレームワークORPPを提案する。 ORPPは一致しただけでなく、ほとんどの場合、性能の点で既存の主流のプロンプト最適化手法を上回ります。
  論文  参考訳（メタデータ） (2025-06-03T05:51:35Z)
• Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation [55.42794740244581]
  本稿では,シンプルなユーザプロンプトをテキスト・ツー・イメージ・モデルに洗練されたプロンプトに変換するための新しいプロンプト最適化フレームワークを提案する。 具体的には、ユーザプロンプトを書き換えるために大きな視覚言語モデル(LVLM)を使用し、同時にLVLMを報酬モデルとして使用し、最適化されたプロンプトによって生成された画像の美学とアライメントをスコアする。 努力的な人間のフィードバックの代わりに、私たちはLVLMの以前の知識を利用して報酬、すなわちAIフィードバックを提供します。
  論文  参考訳（メタデータ） (2025-05-22T15:05:07Z)
• LightRouter: Towards Efficient LLM Collaboration with Minimal Overhead [19.573553157421774]
  Lightは、より大きなプールからLLMの小さなサブセットを体系的に選択、統合するために設計された新しいフレームワークである。 実験によると、光は広く使われているアンサンブルのベースラインと一致し、25%の精度向上を実現している。 本研究は、効率的なLCM選択のための実践的なアプローチを導入し、モデル組み合わせのための最適な戦略に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-22T04:46:04Z)
• EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
  マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。 提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。 視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-19T16:07:04Z)
• Exploring Task-Level Optimal Prompts for Visual In-Context Learning [20.34945396590862]
  本稿では,推論段階におけるプロンプトの探索コストを削減するためのタスクレベルプロンプトを提案する。 提案手法は最適に近いプロンプトを同定し,最小限のコストで最高のVICL性能が得られることを示す。
  論文  参考訳（メタデータ） (2025-01-15T14:52:20Z)
• Pricing and Competition for Generative AI [3.8677478583601776]
  われわれは、新しい生成AIソフトウェアの開発者がどのようにして技術をリリースし、価格を下げるかという課題を探求する。 まず、ユーザコスト効率に関して、特定のタスクに対する2つの異なるモデルの比較を行う。 次に、生成AIソフトウェアの価格問題を、2つの異なる企業間のゲームとしてモデル化する。
  論文  参考訳（メタデータ） (2024-11-04T22:52:45Z)
• PAK-UCB Contextual Bandit: An Online Learning Approach to Prompt-Aware Selection of Generative Models and LLMs [38.167419614117044]
  本研究では,与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。 提案したPAK-UCBアルゴリズムは、腕に共通するコンテキスト変数を持つコンテキスト帯域(CB)設定に対処する。 実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
  論文  参考訳（メタデータ） (2024-10-17T07:33:35Z)
• Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection [40.85209520973634]
  理想的なモデル選択スキームは、候補モデルの大きなプール上で2つの操作を効率的にサポートすべきである。 モデル選択に対する従来の解決策は、これらの2つの操作のうちの少なくとも1つに対して高い計算複雑性を必要とする。 モデル埋め込みを実証的に実現したStandardized Embedderを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:57:49Z)
• Efficient Prompt Optimization Through the Lens of Best Arm Identification [50.56113809171805]
  この作業は、明示的な予算制約の下でプロンプト選択を効率的に行うための、原則化されたフレームワークであるTRIPLEを提供する。 マルチアームバンディット(MAB)における即時最適化と固定予算ベストアーム識別(BAI-FB)の間に確立された新しい接続上に構築されている。
  論文  参考訳（メタデータ） (2024-02-15T05:31:13Z)
• Modeling Choice via Self-Attention [8.394221523847325]
  注意に基づく選択モデルはHalo Multinomial Logit(Halo-MNL)モデルの低最適一般化であることを示す。 また、実データから選択を推定するための最初の現実的な尺度を確立し、既存のモデルの評価を行う。
  論文  参考訳（メタデータ） (2023-11-11T11:13:07Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。