論文の概要: Breaking the Tie: A Cluster-Aware Routing Framework for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.05982v1
• Date: Mon, 05 Oct 2026 08:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:43:03.137453
• Title: Breaking the Tie: A Cluster-Aware Routing Framework for Large Language Models
• Title（参考訳）: Breaking the Tie: 大規模言語モデルのためのクラスタ対応ルーティングフレームワーク
• Abstract要約: 本稿では,CASLR(Cluster-Aware Soft-Labeling Routing)フレームワークを提案する。 複数のベンチマークで優れた精度を示し、Llama-3.3-70B-Instructを全体の平均性能で7.80%向上させる。 このフレームワークは、高い応答品質を確保しながら、ほぼゼロのオーバーヘッドで効率的なシステムスケジューリングを実現することができる。
• 参考スコア（独自算出の注目度）: 23.898993180408215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of artificial intelligence, the emergence of various Large Language Models (LLMs) has created a rich model ecosystem. However, this also brings a key challenge: how to select the optimal model for a specific user query. LLM routing addresses this need by dynamically assigning queries to the most suitable expert in the pool of candidate models. However, existing routing frameworks often simplify this process to a standard classification task; thus, a critical vulnerability is exposed when multiple candidate models correctly answer the same query. We formalize this capability overlap as routing noise, which misleads the router with arbitrarily correct candidate models, ultimately leading to routing collapse (a severe decline in generalization ability on unseen tasks). To address this problem, we propose a novel Cluster-Aware Soft-Labeling Routing (CASLR) framework. CASLR shifts the evaluation paradigm from the success of a single query to macro-domain consensus by replacing traditional one-hot vectors with a masked softmax mechanism. Specifically, for experts who answer incorrectly, we penalize their target probability to zero; for the remaining candidates, we directly compute continuous fine-grained soft labels based on their global clustering utility scores. We then use these refined soft labels to supervise a lightweight router. Specifically, the framework not only demonstrates superior accuracy on multiple benchmarks, but also outperforms Llama-3.3-70B-Instruct by 7.80% in overall average performance. Furthermore, the extremely low routing inference latency of only 1.13s further confirms that CASLR can achieve efficient system scheduling with almost zero additional overhead, while ensuring high response quality.
• Abstract（参考訳）: 人工知能の急速な発展に伴い、様々な大規模言語モデル(LLM)の出現は、リッチなモデルエコシステムを生み出した。 しかし、これはまた、重要な課題をもたらす: 特定のユーザクエリに対して最適なモデルを選択する方法。 LLMルーティングはこのニーズに対処するため、候補モデルのプールにおいて、クエリを最も適した専門家に動的に割り当てる。 しかし、既存のルーティングフレームワークは、このプロセスを標準的な分類タスクに単純化することが多いため、複数の候補モデルが同じクエリに正しく答えると、重大な脆弱性が露呈する。 我々は、この機能をルーティングノイズとして形式化し、これはルータを任意に正しい候補モデルで誤解させ、最終的にルーティング崩壊(目に見えないタスクにおける一般化能力の大幅な低下)を引き起こす。 そこで本研究では,CASLR(Cluster-Aware Soft-Labeling Routing)フレームワークを提案する。 CASLRは、従来のワンホットベクトルをマスク付きソフトマックス機構に置き換えることで、単一のクエリの成功からマクロドメインのコンセンサスへと評価パラダイムをシフトする。 具体的には,不正確に答える専門家に対しては,対象確率を0にペナルタイズする。残る候補に対しては,グローバルクラスタリングユーティリティスコアに基づいて,連続した微粒なソフトラベルを直接計算する。 次に、洗練されたソフトラベルを使って軽量ルーターを監督します。 具体的には、このフレームワークは複数のベンチマークで優れた精度を示すだけでなく、Llama-3.3-70B-Instructを全体の平均性能で7.80%上回っている。 さらに、わずか1.13sの極端に低いルーティング推論レイテンシにより、CASLRは高い応答品質を確保しつつ、ほぼゼロのオーバヘッドで効率的なシステムスケジューリングを実現することができる。

関連論文リスト

• FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing [71.04470934007537]
  既存のルーティングメソッドはLLMを独立してスコア付けし、上位$kのモデルを選択する。 これはモデル相関を無視し、厳格な計算予算を強制する。 モデリングを明示的にモデル化するルーティングフレームワークであるFlexを提案します。
  論文  参考訳（メタデータ） (2026-09-29T21:44:05Z)
• Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation [0.0]
  ここで導入されたベンチマークには、固定された12エージェントカタログに3000のプロンプトが含まれている。 評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、制約付き重み付け設定を組み合わせる。
  論文  参考訳（メタデータ） (2026-06-27T13:59:46Z)
• LatentRouter: Can We Choose the Right Multimodal Model Before Seeing Its Answer? [69.71754384259167]
  マルチモーダル大言語モデル(MLLM)は、OCR、チャート理解、空間的推論、視覚的質問応答、コスト、レイテンシにまたがるヘテロジニアスな強度を持つ。 本稿では,MLLMルーティングを実効的マルチモーダルユーティリティ予測として定式化するルータであるLatentを提案する。 MMR-BenchとVL-Benchの実験では、Latentは固定モデル、特徴レベル、学習ルータベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-05-11T22:42:12Z)
• RouterKGQA: Specialized--General Model Routing for Constraint-Aware Knowledge Graph Question Answering [23.627999197728403]
  KGQA は構造化および検証可能な知識グラフの推論を基礎にして LLM 幻覚を緩和するための有望なアプローチである。 本稿では,専門的なモデルコラボレーションのためのフレームワークであるRogerKGQAを提案する。 RouterKGQAはF1では3.57ポイント、Hits@1では0.49ポイント、ベンチマーク全体では平均して最高の成績を示している。
  論文  参考訳（メタデータ） (2026-03-20T15:01:57Z)
• Lookahead Routing for Large Language Models [24.082620717301477]
  Lookaheadは、潜在的なモデル出力を"予測"し、これらの予測を使ってモデル選択をガイドするルーティングフレームワークである。 7つの公開ベンチマークに対する実証的な評価は、Lookaheadが既存のルーティングベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-10-22T12:00:21Z)
• Cluster Topology-Driven Placement of Experts Reduces Network Traffic in MoE Inference [49.141930185079325]
  提案する整数線形プログラム(ILP)は,期待される送信数を最小限に抑え,専門家の最適な配置を決定する。 ILPベースの配置戦略は,小型モデル(DeepSeekMoE16B)や大規模モデル(DeepSeek-R1671B)と比較してネットワークトラフィックが低いことを示す。
  論文  参考訳（メタデータ） (2025-08-12T07:08:48Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。