論文の概要: RouteLLM: Learning to Route LLMs with Preference Data

• arxiv url: http://arxiv.org/abs/2406.18665v1
• Date: Wed, 26 Jun 2024 18:10:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 18:07:31.653347
• Title: RouteLLM: Learning to Route LLMs with Preference Data
• Title（参考訳）: RouteLLM: 優先度データによるLLMの経路学習
• Authors: Isaac Ong, Amjad Almahairi, Vincent Wu, Wei-Lin Chiang, Tianhao Wu, Joseph E. Gonzalez, M Waleed Kadous, Ion Stoica,
• Abstract要約: 大きな言語モデル(LLM)は、幅広いタスクにわたって印象的な機能を示すが、どのモデルを使うかの選択は、パフォーマンスとコストのトレードオフを伴うことが多い。 推論において,より強いLLMと弱いLLMを動的に選択する効率的なルータモデルを提案する。 我々は、人間の嗜好データとデータ拡張技術を利用して、これらのルータのためのトレーニングフレームワークを開発し、性能を向上する。
• 参考スコア（独自算出の注目度）: 41.687640419561504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit impressive capabilities across a wide range of tasks, yet the choice of which model to use often involves a trade-off between performance and cost. More powerful models, though effective, come with higher expenses, while less capable models are more cost-effective. To address this dilemma, we propose several efficient router models that dynamically select between a stronger and a weaker LLM during inference, aiming to optimize the balance between cost and response quality. We develop a training framework for these routers leveraging human preference data and data augmentation techniques to enhance performance. Our evaluation on widely-recognized benchmarks shows that our approach significantly reduces costs-by over 2 times in certain cases-without compromising the quality of responses. Interestingly, our router models also demonstrate significant transfer learning capabilities, maintaining their performance even when the strong and weak models are changed at test time. This highlights the potential of these routers to provide a cost-effective yet high-performance solution for deploying LLMs.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、幅広いタスクにわたって印象的な機能を示すが、どのモデルを使うかの選択には、パフォーマンスとコストのトレードオフが伴うことが多い。 より強力なモデルは効果的ではあるが、高いコストが伴うが、能力の低いモデルはよりコスト効率が良い。 このジレンマに対処するため,提案手法では,コストと応答品質のバランスを最適化することを目的として,推論中に強いLLMと弱いLLMを動的に選択する効率的なルータモデルを提案する。 我々は、人間の嗜好データとデータ拡張技術を利用して、これらのルータのためのトレーニングフレームワークを開発し、性能を向上する。 評価の結果,提案手法は応答の質を損なうことなく,特定のケースで2倍以上のコスト削減を実現していることがわかった。 興味深いことに、我々のルータモデルは、テスト時に強いモデルと弱いモデルが変更されても、大きな転送学習能力を示し、その性能を維持します。 このことは、これらのルータがLCMをデプロイするためのコスト効率は高く、高性能なソリューションを提供する可能性を強調している。

関連論文リスト

• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  Reinforcement Learning from Human Feedback (RLHF)のような最先端技術は、しばしば2つの段階から構成される。 1)教師付き微調整(SFT)では,人間の実演データからモデルを微調整する。 2)選好学習では,選好データを用いて報奨モデルを学習し,そのモデルを微調整する強化学習ステップで活用する。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
  大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。 コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。 実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
  論文  参考訳（メタデータ） (2024-04-22T23:06:42Z)
• Assessing Economic Viability: A Comparative Analysis of Total Cost of Ownership for Domain-Adapted Large Language Models versus State-of-the-art Counterparts in Chip Design Coding Assistance [10.364901568556435]
  本稿では,ドメイン適応型大言語モデル (LLM) と最先端LLM (SoTA) の比較検討を行った。
  論文  参考訳（メタデータ） (2024-04-12T23:37:56Z)
• Which LLM to Play? Convergence-Aware Online Model Selection with Time-Increasing Bandits [43.65904435249823]
  本稿では,モデルの性能向上を効果的に予測する帯域幅増加アルゴリズムTI-UCBを提案する。 本研究は,より効率的かつ経済的なモデル選択のために,増大する収束パターンを活用することの重要性を強調した。
  論文  参考訳（メタデータ） (2024-03-11T23:52:46Z)
• SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees [21.801053526411415]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクの性能を大幅に向上させた。 高性能LLMの配備は、主にモデル性能の向上を目的としたパラメータの増大により、かなりのコストがかかる。 SMARTは,NLPタスクの推論コストを最小限に抑えつつ,十分な結果品質を確保するために設計された新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-03-11T17:45:47Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Online and Scalable Model Selection with Multi-Armed Bandits [0.0]
  AMS(Automatic Model Selector)は、現実世界のパフォーマンスメトリクスに基づいた入札戦略のスケーラブルなオンライン選択のためのシステムです。 AMSは、最高のパフォーマンスのモデルに最もトラフィックを割り当て、オンラインパフォーマンスが悪い人にトラフィックを減らします。 複数の広告キャンペーンのライブトラフィックテストでは、AMSシステムは広告キャンペーンのパフォーマンス向上に非常に効果的であることが証明されました。
  論文  参考訳（メタデータ） (2021-01-25T20:12:52Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。