論文の概要: Rethinking Predictive Modeling for LLM Routing: When Simple kNN Beats Complex Learned Routers

• arxiv url: http://arxiv.org/abs/2505.12601v1
• Date: Mon, 19 May 2025 01:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.337787
• Title: Rethinking Predictive Modeling for LLM Routing: When Simple kNN Beats Complex Learned Routers
• Title（参考訳）: LLMルーティングの予測モデル再考:単純なkNNが複雑な学習ルータを打ち負かすとき
• Authors: Yang Li,
• Abstract要約: 我々は、k-Nearest Neighbors (kNN) アプローチが、様々なタスクにまたがる最先端の学習ルータよりも優れていることを示す。 その結果, 埋め込み空間におけるモデル性能の局所性は, 単純な非パラメトリック手法によって強いルーティング決定を実現できることがわかった。
• 参考スコア（独自算出の注目度）: 3.090041654375235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) grow in scale and specialization, routing--selecting the best model for a given input--has become essential for efficient and effective deployment. While recent methods rely on complex learned routing strategies, their dependence on disparate training data and evaluation setups makes comparison and generalization difficult. In this work, we revisit LLM routing through the lens of simplicity. We show that a well-tuned k-Nearest Neighbors (kNN) approach not only matches but often outperforms state-of-the-art learned routers across diverse tasks. To support systematic evaluation, we introduce a suite of standardized routing benchmarks spanning instruction-following, question-answering, and reasoning tasks, as well as the first multi-modal routing dataset involving visual inputs. Our findings reveal that the locality properties of model performance in embedding space enable simple non-parametric methods to achieve strong routing decisions with lower sample complexity than parametric approaches. This challenges the prevailing trend toward sophisticated architectures and highlights the importance of thoroughly evaluating simple baselines before investing in complex solutions. To support reproducibility and further exploration, we will release all benchmarks and code upon publication.
• Abstract（参考訳）: 大規模言語モデル(LLM)のスケールと特殊化が進むにつれ、ルーティング-与えられた入力に対して最適なモデルを選択する-は、効率的かつ効率的なデプロイメントに不可欠である。 近年の手法は複雑な学習経路戦略に依存しているが、異なるトレーニングデータや評価設定に依存しているため、比較と一般化が困難である。 本研究では,LLMルーティングをシンプルさのレンズを通して再検討する。 我々は、k-Nearest Neighbors (kNN) アプローチがマッチするだけでなく、様々なタスクにまたがる最先端の学習ルータよりも優れていることを示す。 システム評価を支援するために,命令追従,質問応答,推論タスクにまたがる標準化されたルーティングベンチマークと,視覚入力を含む最初のマルチモーダルルーティングデータセットを導入する。 本研究により, 組込み空間におけるモデル性能の局所性は, 単純な非パラメトリック手法により, パラメトリック手法よりもサンプルの複雑さが低い強い経路決定を実現できることがわかった。 複雑なソリューションに投資する前に、シンプルなベースラインを徹底的に評価することの重要性を強調している。 再現性とさらなる探索をサポートするため、すべてのベンチマークとコードを公開時にリリースします。

関連論文リスト

• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Ranking Cost: Building An Efficient and Scalable Circuit Routing Planner with Evolution-Based Optimization [49.207538634692916]
  そこで我々は、効率よくトレーニング可能なルータを形成するための新しい回路ルーティングアルゴリズム、Randing Costを提案する。 提案手法では,A*ルータが適切な経路を見つけるのに役立つコストマップと呼ばれる新しい変数群を導入する。 我々のアルゴリズムはエンドツーエンドで訓練されており、人工データや人間の実演は一切使用しない。
  論文  参考訳（メタデータ） (2021-10-08T07:22:45Z)
• Analyzing Reinforcement Learning Benchmarks with Random Weight Guessing [2.5137859989323537]
  多数のポリシーネットワークは、パラメータをランダムに推測して生成され、その後、ベンチマークタスクで評価される。 本手法は, 環境の複雑さを分離し, 課題の種類を明確にし, 課題の難易度を統計的に解析するための適切な基盤を提供する。 我々は、OpenAI Gymの様々な古典的な制御ベンチマークでアプローチをテストし、そこでは、訓練されていない小さなネットワークが様々なタスクに対して堅牢なベースラインを提供することを示す。
  論文  参考訳（メタデータ） (2020-04-16T15:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。