論文の概要: LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing

• arxiv url: http://arxiv.org/abs/2502.02743v1
• Date: Tue, 04 Feb 2025 22:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:27:06.543419
• Title: LLM Bandit: Cost-Efficient LLM Generation via Preference-Conditioned Dynamic Routing
• Title（参考訳）: LLMバンド: 優先条件動的ルーティングによるコスト効率の良いLCM生成
• Authors: Yang Li,
• Abstract要約: 本稿では, LLM選択過程を多武装バンディット問題として定式化する新しい枠組みを提案する。 提案手法は好み条件付き動的ルーティング機構を組み込んでおり、ユーザーは推論時に好みを指定できる。 提案手法は,LLMプラットフォーム間での精度とコスト効率の両立を実現している。
• 参考スコア（独自算出の注目度）: 3.090041654375235
• License:
• Abstract: The rapid advancement in large language models (LLMs) has brought forth a diverse range of models with varying capabilities that excel in different tasks and domains. However, selecting the optimal LLM for user queries often involves a challenging trade-off between accuracy and cost, a problem exacerbated by the diverse demands of individual queries. In this work, we present a novel framework that formulates the LLM selection process as a multi-armed bandit problem, enabling dynamic and intelligent routing of queries to the most appropriate model. Our approach incorporates a preference-conditioned dynamic routing mechanism, allowing users to specify their preferences at inference time, thereby offering a customizable balance between performance and cost. Additionally, our selection policy is designed to generalize to unseen LLMs, ensuring adaptability to new models as they emerge. Experimental results demonstrate that our method achieves significant improvements in both accuracy and cost-effectiveness across various LLM platforms, showcasing the potential of our framework to adaptively optimize LLM selection in real-world scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、様々なタスクやドメインに優れた様々な機能を持つ多様なモデルを生み出した。 しかし、ユーザクエリに最適なLSMを選択するには、個々のクエリの多様な要求によって悪化する問題である、正確性とコストのトレードオフが困難な場合が多い。 本研究では,LLM選択過程をマルチアームバンディット問題として定式化し,クエリを最適なモデルに動的かつインテリジェントにルーティングする手法を提案する。 提案手法では,設定条件の動的ルーティング機構を導入し,ユーザが推論時に好みを指定できるようにし,性能とコストのバランスをカスタマイズできる。 さらに、我々の選択ポリシーは、未知のLCMに一般化し、新しいモデルが出現するにつれて適応性を確保するように設計されている。 実験により,本手法は様々なLLMプラットフォーム上での精度とコスト効率の両面での大幅な向上を実現し,実世界のシナリオにおけるLLM選択を適応的に最適化するフレームワークの可能性を示した。

関連論文リスト

• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションで顕著なパフォーマンスのために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Beyond Inter-Item Relations: Dynamic Adaption for Enhancing LLM-Based Sequential Recommendation [83.87767101732351]
  逐次リコメンデータシステム(SRS)は,ユーザの過去のインタラクションシーケンスに基づいて,ユーザが好む次の項目を予測する。 様々なAIアプリケーションにおける大規模言語モデル(LLM)の台頭に触発されて、LLMベースのSRSの研究が急増している。 我々は,大きめの粒度適応の上に構築された逐次レコメンデーションモデルであるDARecを提案する。
  論文  参考訳（メタデータ） (2024-08-14T10:03:40Z)
• MetaLLM: A High-performant and Cost-efficient Dynamic Framework for Wrapping LLMs [21.689490112983677]
  分類タスクに最適な大言語モデル(LLM)に各クエリを動的にルーティングするフレームワークであるMetaLLMを紹介する。 多武装バンディットとして選択問題をフレーミングすることで、MetaLLMは不確実性の下で予測精度とコスト効率のバランスをとる。 LLMプラットフォーム上で実施した本実験では,メタLLMの有効性を実世界のシナリオで示す。
  論文  参考訳（メタデータ） (2024-07-15T15:45:07Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• Optimal Decision Making Through Scenario Simulations Using Large Language Models [0.0]
  大規模言語モデル(LLM)は、複雑な問題へのアプローチと解決の方法を変えました。 本稿では,この能力ギャップを橋渡しする革新的な手法を提案する。 LLMがユーザから複数のオプションとそれぞれのパラメータをリクエストできるようにすることで、動的フレームワークを導入しています。 この関数は提供された選択肢を分析し、潜在的な結果をシミュレートし、最も有利な解を決定するように設計されている。
  論文  参考訳（メタデータ） (2024-07-09T01:23:09Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Cost-Effective Online Multi-LLM Selection with Versatile Reward Models [30.892090566736652]
  大規模言語モデル (LLM) を選択・使用するためのオンラインモデルである textitC2MAB-V を導入する。 textitC2MAB-Vは、様々な報酬モデルを持つ様々な協調タスクタイプに特化している。 textitC2MAB-Vは,3つのアプリケーションシナリオに対して,性能とコスト効率を9つのLLMと効果的にバランスさせることを示す。
  論文  参考訳（メタデータ） (2024-05-26T14:38:24Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。