論文の概要: Leeroo Orchestrator: Elevating LLMs Performance Through Model Integration

• arxiv url: http://arxiv.org/abs/2401.13979v1
• Date: Thu, 25 Jan 2024 06:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 15:35:05.570820
• Title: Leeroo Orchestrator: Elevating LLMs Performance Through Model Integration
• Title（参考訳）: Leeroo Orchestrator:モデル統合によるLLMのパフォーマンス向上
• Authors: Alireza Mohammadshahi, Ali Shaikh, Majid Yazdani
• Abstract要約: 我々は,複数の訓練されたLLMの集合的知識を活用して,新しい最先端のオーケストレータを構築するアーキテクチャを提案する。 強化学習における自己プレイに触発されて、私たちは、オーケストレータのためのトレーニングデータを生成するために、クエリ生成、オーケストレーション、評価のループを作成しました。
• 参考スコア（独自算出の注目度）: 7.106243111116404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose an architecture to harness the collective knowledge of multiple trained LLMs to create a new state-of-the-art. At the core of this framework is a LLM-based orchestrator that is adept at picking the right underlying LLM experts for optimal task execution. Inspired by self-play in reinforcement learning, we created a loop of query generation, orchestration, and evaluation to generate training data for the orchestrator. Our evaluation focused on the MMLU benchmark, employing models with 7B, 13B, and 34B parameters available on Hugging Face. The results demonstrate new state-of-the-art open-source models: Our Leeroo orchestrator achieves performance on par with the Mixtral model while incurring only two-thirds of its cost. Moreover, increasing the allowed cost surpasses Mixtral's accuracy by over 5% at the same cost level, reaching an accuracy of 75.9%. Further enhancements were observed when integrating GPT4 into the underlying model pool. The Leeroo orchestrator nearly matches GPT4's performance at half the cost and even exceeds GPT4's results with a 25% cost reduction. These findings illustrate the potential of our architecture in creating state-of-the-art and cost-effective LLMs by optimizing the synergy between multiple LLMs to achieve superior performance outcomes.
• Abstract（参考訳）: 本稿では,複数のLLMの集合的知識を活用して新しい最先端技術を構築するアーキテクチャを提案する。 このフレームワークのコアはllmベースのオーケストレータで、最適なタスク実行のために適切なllm専門家を選ぶのに適しています。 強化学習における自己再生に触発されて、オーケストレータのトレーニングデータを生成するために、クエリ生成、オーケストレーション、評価のループを作成しました。 評価はmmluベンチマークに着目し,ハグ面に7b,13b,34bパラメータのモデルを用いた。 私たちのleerooオーケストレータは、コストの3分の2しか必要とせず、mixtralモデルと同等のパフォーマンスを実現しています。 さらに、許容コストの増大は、同じコストレベルでのmixtralの精度を5%以上上回り、75.9%の精度に達した。 GPT4をモデルプールに組み込む際にさらなる拡張が観察された。 LeerooオーケストレータはGPT4のパフォーマンスを半分のコストでほぼ一致し、GPT4の結果を25%のコスト削減で上回っている。 これらの結果は,複数のLLM間の相乗効果を最適化し,優れた性能を実現することにより,最先端かつコスト効率の高いLLMを構築する上でのアーキテクチャの可能性を示している。

関連論文リスト

• RouteLLM: Learning to Route LLMs with Preference Data [41.687640419561504]
  大きな言語モデル(LLM)は、幅広いタスクにわたって印象的な機能を示すが、どのモデルを使うかの選択は、パフォーマンスとコストのトレードオフを伴うことが多い。 推論において,より強いLLMと弱いLLMを動的に選択する効率的なルータモデルを提案する。 我々は、人間の嗜好データとデータ拡張技術を利用して、これらのルータのためのトレーニングフレームワークを開発し、性能を向上する。
  論文  参考訳（メタデータ） (2024-06-26T18:10:22Z)
• OptLLM: Optimal Assignment of Queries to Large Language Models [12.07164196530872]
  大規模言語モデル(LLM)における費用効率の高いクエリ割り当て問題に対処するフレームワークを提案する。 当社のフレームワークであるOpsLLMは、ユーザに対して、予算の制約やパフォーマンスの優先事項に合わせて、選択可能なさまざまな最適なソリューションを提供します。 OptLLMの有効性を評価するため,テキスト分類,質問応答,感情分析,推論,ログ解析など,さまざまなタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-24T01:05:37Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
  大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。 コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。 実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
  論文  参考訳（メタデータ） (2024-04-22T23:06:42Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)
• Switching the Loss Reduces the Cost in Batch (Offline) Reinforcement Learning [57.154674117714265]
  本稿では,FQI-log を用いた準最適政策の学習に必要なサンプル数と,最適政策の累積コストについて述べる。 我々は,FQI-logが目標を確実に達成する問題に対して,2乗損失を訓練したFQIよりも少ないサンプルを用いていることを実証的に検証した。
  論文  参考訳（メタデータ） (2024-03-08T15:30:58Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Towards Optimizing the Costs of LLM Usage [4.032848774697859]
  理論的にも経験的にも、品質とコストを両立させる最適化問題について検討する。 トークンを品質に配慮した方法で低減するためのいくつかの決定論的手法を提案する。 本手法は,品質を4%から7%向上させながら,コストを40%から90%削減する。
  論文  参考訳（メタデータ） (2024-01-29T16:36:31Z)
• Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in Self-Refined Open-Source Models [53.859446823312126]
  SoTAは7Bから65Bまでのさまざまなサイズのオープンソースモデルを平均して、ベースラインのパフォーマンスから8.2%改善している。 厳密に言えば、Vicuna-7Bのような非常に小さなメモリフットプリントを持つモデルでさえ、全体的な11.74%の改善と、高い創造性、オープンエンドタスクの25.39%の改善を示している。
  論文  参考訳（メタデータ） (2023-10-11T15:56:00Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。