論文の概要: Dynamic LLM Routers are Often Misguided

• arxiv url: http://arxiv.org/abs/2610.02762v1
• Date: Fri, 02 Oct 2026 03:42:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.198575
• Title: Dynamic LLM Routers are Often Misguided
• Title（参考訳）: 動的LLMルータはよく誤解される
• Abstract要約: 動的LLMルータは,各クエリを最も安価なモデルに送信することで,推論コストを削減することを約束する。 8つのタスクカテゴリにまたがるベンチマークで、14の設定で6つの商用ルータを分析します。 いずれのルータも、一致したコストで2つのよくできたモデルの中からランダムに選択するルータに勝るものは見つからない。
• 参考スコア（独自算出の注目度）: 6.011108172815789
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic LLM routers promise to cut inference costs by sending each query to the cheapest model that can answer it correctly. We analyze six commercial routers across 14 settings on a diverse benchmark spanning eight task categories, finding that none of them outperforms a router that randomly selects between two well-chosen models at matched cost. Some underperform by more than 10 percentage points. We trace this gap to four patterns prevalent across routers: difficulty blindness, length reversal, semantic matching, and roster suboptimality. We show that the first three are what the standard objective rewards: cost-accuracy Pareto efficiency on realized costs favors escalating moderately hard queries over the hardest ones, shorter queries over longer ones, and routing by a query's source over its difficulty. We also argue that the two assumptions that would justify large rosters, model granularity and model specialization, do not hold empirically. We propose an alternative evaluation methodology that does not reward these patterns, and as a proof of concept, we design a simple two-model router that avoids all four. Nevertheless, its gain over random routing is limited, because a well-chosen roster leaves little to route.
• Abstract（参考訳）: 動的LLMルータは,各クエリを最も安価なモデルに送信することで,推論コストを削減することを約束する。 8つのタスクカテゴリにまたがる多様なベンチマークで、14の設定で6つの商用ルータを分析しました。 パーセンテージが10ポイント以上低下することもある。 我々は、このギャップをルータにまたがる4つのパターン、難易度、長さの反転、セマンティックマッチング、ロスターの亜最適性に遡る。 コストの正確性 現実的なコストに対するPareto効率は、最も難しいクエリよりも適度に厳しいクエリをエスカレートすること、長いクエリよりも短いクエリ、その難しさに対してクエリソースによるルーティングを好んでいます。 また、大きなロスター、モデルの粒度、モデルの特殊化を正当化する2つの仮定は、経験的には成り立たないと論じる。 そこで本稿では,これらのパターンに報酬を与えない代替評価手法を提案し,概念実証として,4つすべてを回避するシンプルな2モデルルータを設計する。 それでも、ランダムなルーティングよりも利得は限られている。

関連論文リスト

• FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing [71.04470934007537]
  既存のルーティングメソッドはLLMを独立してスコア付けし、上位$kのモデルを選択する。 これはモデル相関を無視し、厳格な計算予算を強制する。 モデリングを明示的にモデル化するルーティングフレームワークであるFlexを提案します。
  論文  参考訳（メタデータ） (2026-09-29T21:44:05Z)
• Pre-Inference Routing for Cost-Efficient Document Field Extraction [0.0]
  安価な文書ベースの信号を用いて抽出する前に,文書の難易度を予測できるかどうかを検討する。 ルーティングは2つの条件が満たされた場合にのみ役立ちます。
  論文  参考訳（メタデータ） (2026-08-06T21:34:51Z)
• VDAR-Router: Adaptive LLMs Routing via Verbalized Query Difficulty Analysis Retrieval [16.067071673823417]
  難解検索に基づくルーティングフレームワークであるVDAR-theを提案する。 入力クエリ毎に、VDAR-theは明示的な難易度解析を生成する。 その後、同様の難易度プロファイルで過去の例を検索する。
  論文  参考訳（メタデータ） (2026-07-20T16:00:45Z)
• SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks [11.50404356970464]
  マルチターンエージェントハーネスに埋め込まれた大規模言語モデル(LLM)は、ソフトウェア工学(SWE)を再構築している しかし、多くの問題が安い修正を認めると、すべてのタスクをフロンティアモデルにルーティングするのは無駄です。 SWEは,探索的なターン数回で安価なモデルを実行し,結果として生じる部分軌道を読み取る,価値に基づく時間的アプローチである。 本稿では,SWEタスクのコスト効率を大幅に向上すると同時に,より強力なモデルの性能の大部分を維持しながら,SWEタスクのコスト効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2026-06-30T01:46:26Z)
• MTRouter: Cost-Aware Multi-Turn LLM Routing with History-Model Joint Embeddings [47.963523156965174]
  大規模言語モデルに対する費用対効果を考慮したマルチターンルーティングについて検討する。 本稿では,対話履歴と候補モデルを結合履歴モデルにエンコードするMTを提案する。 実験によると、MTはパフォーマンスコストのトレードオフを改善する。
  論文  参考訳（メタデータ） (2026-04-26T04:42:21Z)
• Route to Rome Attack: Directing LLM Routers to Expensive Models via Adversarial Suffix Optimization [10.831044672402177]
  既存のルーティング攻撃は、ホワイトボックスアクセスまたはプロンプトに依存するため、現実のブラックボックスシナリオでは効果がない。 逆接接尾辞最適化による高価なモデルにブラックボックスLLMルータを誤誘導することを目的としたR$2$Aを提案する。 複数のオープンソースおよび商用ルーティングシステムの実験により、R$2$Aは、異なる分散のクエリにおける高価なモデルへのルーティング率を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-04-16T13:51:48Z)
• When Routing Collapses: On the Degenerate Convergence of LLM Routers [46.01380774114097]
  ユーザのコスト予算が増加するにつれて、ルータは体系的に最も有能で最も高価なモデルにデフォルトとなる。 モデルランキングを直接学習する決定対応ルータであるEquiを提案する。 RouterBenchでは、最強の先行ルータと比較して、GPT-4レベルのパフォーマンスでコストを約17%削減する。
  論文  参考訳（メタデータ） (2026-02-03T12:51:55Z)
• Routing with Generated Data: Annotation-Free LLM Skill Estimation and Expert Selection [70.73201284835498]
  RGDは、ルータが生成されたクエリと回答のみに基づいてトレーニングされる、困難な設定である。 クエリ・アンサー・ルータ(クエリとラベルの両方を用いて)とクエリのみのルータを4つのベンチマークと12のモデルで評価する。 コンセンサス投票によってモデルの正しさを推定し,階層クラスタリングによるモデル固有のスキルニッチを識別する新しいクエリ専用ルータであるCASCALを提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:43:32Z)
• xRouter: Training Cost-Aware LLMs Orchestration System via Reinforcement Learning [104.63494870852894]
  我々は,学習したルータが直接応答するか,あるいは1つ以上の外部モデルを呼び出すことができるツールコールベースのルーティングシステム x を提案する。 当社の実装には、報酬とコスト会計を含む、完全な強化学習フレームワークが含まれています。 さまざまなベンチマークで、xはコストパフォーマンスのトレードオフを強く達成します。
  論文  参考訳（メタデータ） (2025-10-09T16:52:01Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。