論文の概要: Routoo: Learning to Route to Large Language Models Effectively

• arxiv url: http://arxiv.org/abs/2401.13979v3
• Date: Wed, 02 Oct 2024 08:51:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:19:12.292321
• Title: Routoo: Learning to Route to Large Language Models Effectively
• Title（参考訳）: Routoo: 大規模言語モデルへのルートを効果的に学ぶ
• Authors: Alireza Mohammadshahi, Arshad Rafiq Shaikh, Majid Yazdani,
• Abstract要約: Routooは、性能、コスト、効率に基づいた特定のプロンプトに対してLLMの選択を最適化するために設計されたアーキテクチャである。 Routtooはパフォーマンス予測とコスト認識セレクタという2つの重要なコンポーネントで構成されている。 その結果,RoutooはMixtral 8x7bモデルの性能と一致し,推論コストを3分の1削減できることがわかった。
• 参考スコア（独自算出の注目度）: 6.322844087292882
• License:
• Abstract: LLMs with superior response quality--particularly larger or closed-source models--often come with higher inference costs, making their deployment inefficient and costly. Meanwhile, developing foundational LLMs from scratch is becoming increasingly resource-intensive and impractical for many applications. To address the challenge of balancing quality and cost, we introduce Routoo, an architecture designed to optimize the selection of LLMs for specific prompts based on performance, cost, and efficiency. Routoo provides controllability over the trade-off between inference cost and quality, enabling significant reductions in inference costs for a given quality requirement. Routoo comprises two key components: a performance predictor and cost-aware selector. The performance predictor is a lightweight LLM that estimates the expected performance of various underlying LLMs on a given prompt without executing them. The cost-aware selector module then selects the most suitable model based on these predictions and constraints such as cost and latency, significantly reducing inference costs for the same quality. We evaluated Routoo using the MMLU benchmark across 57 domains employing open-source models. Our results show that Routoo matches the performance of the Mixtral 8x7b model while reducing inference costs by one-third. Additionally, by allowing increased costs, Routoo surpasses Mixtral's accuracy by over 5% at equivalent costs, achieving an accuracy of 75.9%. When integrating GPT4 into our model pool, Routoo nearly matches GPT4's performance at half the cost and exceeds it with a 25% cost reduction. These outcomes highlight Routoo's potential to significantly reduce inference costs without compromising quality, and even to establish new state-of-the-art results by leveraging the collective capabilities of multiple LLMs.
• Abstract（参考訳）: 優れた応答品質、特に大規模またはクローズドソースモデルを持つLCMは、しばしば推論コストが高くなり、そのデプロイメントが非効率でコストがかかる。 一方、ゼロから基礎的なLSMを開発することは、多くのアプリケーションにとって資源集約的で実用的ではないものになりつつある。 品質とコストのバランスをとることの課題に対処するために,性能,コスト,効率に基づいて,特定のプロンプトに対してLLMの選択を最適化するアーキテクチャであるRoutooを導入する。 ルートゥーは、推論コストと品質の間のトレードオフを制御可能とし、所定の品質要件に対する推論コストの大幅な削減を可能にします。 Routooはパフォーマンス予測とコスト認識セレクタという2つの重要なコンポーネントで構成されている。 性能予測器は軽量なLCMであり、所定のプロンプト上で様々なLCMの期待性能を、実行せずに推定する。 コストを意識したセレクタモジュールは、これらの予測とコストやレイテンシといった制約に基づいて、最も適切なモデルを選択し、同じ品質の推論コストを著しく削減する。 オープンソースモデルを用いた57領域にわたるMMLUベンチマークを用いて,rutooの評価を行った。 その結果,RoutooはMixtral 8x7bモデルの性能と一致し,推論コストを3分の1削減できることがわかった。 さらに、コストの増加を許すことで、RutooはMixtralの精度を5%以上上回り、75.9%の精度を達成している。 モデルプールにGPT4を組み込む場合、RutooはGPT4の性能を半分のコストでほぼ一致させ、25%のコスト削減でそれを上回ります。 これらの結果は、品質を損なうことなく推論コストを大幅に削減するルートゥーの可能性を浮き彫りにした。

関連論文リスト

• RouteLLM: Learning to Route LLMs with Preference Data [41.687640419561504]
  大きな言語モデル(LLM)は、幅広いタスクにわたって印象的な機能を示すが、どのモデルを使うかの選択は、パフォーマンスとコストのトレードオフを伴うことが多い。 推論において,より強いLLMと弱いLLMを動的に選択する効率的なルータモデルを提案する。 我々は、人間の嗜好データとデータ拡張技術を利用して、これらのルータのためのトレーニングフレームワークを開発し、性能を向上する。
  論文  参考訳（メタデータ） (2024-06-26T18:10:22Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
  大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。 コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。 実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
  論文  参考訳（メタデータ） (2024-04-22T23:06:42Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)
• Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning [57.154674117714265]
  本稿では,FQI-log を用いた準最適政策の学習に必要なサンプル数と,最適政策の累積コストについて述べる。 我々は,FQI-logが目標を確実に達成する問題に対して,2乗損失を訓練したFQIよりも少ないサンプルを用いていることを実証的に検証した。
  論文  参考訳（メタデータ） (2024-03-08T15:30:58Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Towards Optimizing the Costs of LLM Usage [4.032848774697859]
  理論的にも経験的にも、品質とコストを両立させる最適化問題について検討する。 トークンを品質に配慮した方法で低減するためのいくつかの決定論的手法を提案する。 本手法は,品質を4%から7%向上させながら,コストを40%から90%削減する。
  論文  参考訳（メタデータ） (2024-01-29T16:36:31Z)
• Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in Self-Refined Open-Source Models [53.859446823312126]
  SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。 厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
  論文  参考訳（メタデータ） (2023-10-11T15:56:00Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。