論文の概要: A Unified Approach to Routing and Cascading for LLMs

• arxiv url: http://arxiv.org/abs/2410.10347v2
• Date: Fri, 14 Feb 2025 13:13:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:05:27.306081
• Title: A Unified Approach to Routing and Cascading for LLMs
• Title（参考訳）: LLMのルーティングとカスケードへの統一的アプローチ
• Authors: Jasper Dekoninck, Maximilian Baader, Martin Vechev,
• Abstract要約: 様々なエージェントシステムに埋め込まれた大規模言語モデル(LLM)は、コストパフォーマンスのトレードオフを改善するためのモデル選択戦略の可能性を高めている。 既存の戦略には、クエリ毎にひとつのモデルが選択されるルーティング、あるいは、満足のいく回答が見つかるまで順次、より大きなモデルを実行するカスケードがある。 我々は、カスケードのための新しい最適戦略を導き、既存のルーティング戦略の最適性を証明する。 本稿では、ルーティングとカスケードを統合した統合フレームワークであるカスケードルーティングを理論的に最適な戦略として提案する。
• 参考スコア（独自算出の注目度）: 5.653106385738822
• License:
• Abstract: The availability of a wide range of large language models (LLMs) embedded in various agentic systems has significantly increased the potential of model selection strategies to improve the cost-performance tradeoff. Existing strategies involve either routing, where a single model is chosen per query, or cascading, which sequentially runs increasingly larger models until a satisfactory answer is found. However, current approaches face three key limitations: they (1) lack formal proofs of optimality, (2) fail to identify the conditions under which these strategies are most effective to improve the cost-performance tradeoff, and (3) are unable to combine both paradigms for further improvements. To address these issues, we first derive a novel optimal strategy for cascading and prove the optimality of an existing routing strategy. Further, we propose cascade routing, a unified framework that integrates routing and cascading into a theoretically optimal strategy. Through our analysis, we identify good quality estimators as the critical factor for the success of model selection paradigms. Finally, in our experiments, we show that cascade routing consistently outperforms the individual approaches by a large margin and we analyze quality estimators to determine when routing and/or cascading are useful paradigms for model selection.
• Abstract（参考訳）: 様々なエージェントシステムに埋め込まれた幅広い大規模言語モデル (LLM) の可用性は、コストパフォーマンスのトレードオフを改善するためのモデル選択戦略の可能性を著しく高めた。 既存の戦略には、クエリ毎にひとつのモデルが選択されるルーティング、あるいは、満足のいく回答が見つかるまで順次、より大きなモデルを実行するカスケードがある。 しかし,現状のアプローチは,(1) 最適性の形式的証明が欠如していること,(2) それらの戦略が費用対効果のトレードオフを改善する上で最も有効である条件の特定に失敗すること,(3) 両パラダイムを組み合わせることのできないこと,の3つの重要な限界に直面している。 これらの問題に対処するために、我々はまず、カスケードのための新しい最適戦略を導き、既存のルーティング戦略の最適性を証明する。 さらに、ルーティングとカスケードを統合した統合フレームワークであるカスケードルーティングを理論的に最適な戦略として提案する。 本分析により,モデル選択パラダイムの成功の鍵となる要因として,良質な推定器を同定した。 最後に,提案実験では,カスケード・ルーティングが個々のアプローチを大きなマージンで一貫して上回ることを示すとともに,モデル選択に有用なルーティングやカスケードがいつ有用かを決定するための品質推定器を解析する。

関連論文リスト

• Model Fusion through Bayesian Optimization in Language Model Fine-Tuning [16.86812534268461]
  下流タスクのための微調整された事前学習モデルは、様々な領域にまたがる適応性と信頼性で広く採用されているテクニックである。 本稿では,多目的ベイズ最適化により,所望の計量と損失の両方を最適化する新しいモデル融合手法を提案する。 各種下流タスクを対象とした実験では,ベイズ最適化誘導方式による大幅な性能向上が見られた。
  論文  参考訳（メタデータ） (2024-11-11T04:36:58Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Model-Free Active Exploration in Reinforcement Learning [53.786439742572995]
  強化学習における探索問題について検討し,新しいモデルフリーソリューションを提案する。 我々の戦略は、最先端の探査アプローチよりも高速に効率的な政策を特定できる。
  論文  参考訳（メタデータ） (2024-06-30T19:00:49Z)
• It's Morphing Time: Unleashing the Potential of Multiple LLMs via Multi-objective Optimization [16.54335356612006]
  モデルマージの目標は、複数のモデルを組み合わせることであり、それぞれが異なるタスクで優れており、個々のソースモデルよりも優れた1つのモデルにまとめることである。 既存の方法は人間の知識や直観に大きく依存している。 限られた評価において、優れたモデルマージ構成を得るのは難しいです。
  論文  参考訳（メタデータ） (2024-06-29T16:34:23Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• Deep Inverse Reinforcement Learning for Route Choice Modeling [0.6853165736531939]
  経路選択モデリングは交通計画と需要予測の基本的な課題である。 本研究では,リンクベース経路選択モデルのための一般的な逆強化学習(IRL)フレームワークを提案する。 中国上海のタクシーGPSデータに基づく実験結果から,提案モデルの性能改善を検証した。
  論文  参考訳（メタデータ） (2022-06-18T06:33:06Z)
• Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
  ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。 モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T12:42:41Z)
• Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
  我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。 我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
  論文  参考訳（メタデータ） (2022-05-20T07:02:03Z)
• PASTO: Strategic Parameter Optimization in Recommendation Systems -- Probabilistic is Better than Deterministic [33.174973495620215]
  確率論的戦略パラメータ体系は, 単一の決定論的パラメータを求める標準的手法と比較して, より優れた価値が得られることを示す。 私たちのアプローチは、数億人の日々のユーザーを持つ人気のあるソーシャルネットワークプラットフォームに適用されます。
  論文  参考訳（メタデータ） (2021-08-20T09:02:58Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。