論文の概要: From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing
- arxiv url: http://arxiv.org/abs/2606.06924v1
- Date: Fri, 05 Jun 2026 05:42:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.581428
- Title: From Sampled Outcomes to Capability Distributions: Rethinking Supervision for LLM Routing
- Title（参考訳）: サンプリング結果から能力分布へ:LLMルーティングのスーパービジョンを再考する
- Authors: Guannan Lai, Haoran Hu, Long Chen, Zhenguo Li, Han-Jia Ye,
- Abstract要約: 既存のルーティングメソッドは、クエリに対するモデルの単一応答を、トレーニングの能力ラベルとして扱う。
この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。
本稿では, DARS(Distribution-Aware Routing Supervision)を提案する。
- 参考スコア（独自算出の注目度）: 79.19755531338872
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing LLM routing methods typically treat a model's single response to a query as its capability label for training routers. However, because LLM generation is inherently stochastic, such single-shot supervision provides only a noisy observation of a query-model pair's behavior rather than a reliable capability estimate. We show that this assumption introduces systematic noise into routing supervision, making learned routing policies less reliable. To address this issue, we propose DARS (Distribution-Aware Routing Supervision), a framework that constructs routing supervision from a distributional view of model behavior. Instead of relying on a single generated response, DARS considers uncertainty from both the input side and the output side, capturing how semantically equivalent query formulations and stochastic generations affect model performance. Based on these distribution-aware observations, DARS builds more reliable supervision signals for routing. Experiments across diverse tasks show that single-shot labels can be misleading for model selection, while distribution-aware supervision provides more stable labels and improves learned routing behavior. Our results suggest that reliable LLM routing should move beyond single-response observations and be grounded in query-level model capability distributions.
- Abstract（参考訳）: 既存のLLMルーティング手法は、典型的には、クエリに対するモデルの単一応答をルータをトレーニングするための機能ラベルとして扱う。
しかし、LLM生成は本質的に確率的であるため、そのような単一ショットの監視は信頼性の高い能力推定ではなく、クエリモデルペアの振る舞いをノイズの多い観察のみを提供する。
この仮定はルーティング管理にシステマティックノイズを導入し、学習されたルーティングポリシーの信頼性を低下させることを示す。
そこで本研究では,DARS(Distribution-Aware Routing Supervision)を提案する。
DARSは単一生成された応答に頼るのではなく、入力側と出力側の両方の不確実性を考慮し、意味的に等価なクエリの定式化と確率的生成がモデルパフォーマンスに与える影響をキャプチャする。
これらの分布認識観測に基づいて、DARSはルーティングのためのより信頼性の高い監視信号を構築する。
多様なタスクを対象とした実験では、シングルショットラベルがモデル選択を誤解させる可能性がある一方で、分散対応の監視によってより安定したラベルが提供され、学習されたルーティング動作が改善されている。
以上の結果から,信頼性の高いLLMルーティングは単一応答の観測を超え,クエリレベルのモデル能力分布に基礎を置くことが示唆された。
関連論文リスト
- LatentRouter: Can We Choose the Right Multimodal Model Before Seeing Its Answer? [69.71754384259167]
マルチモーダル大言語モデル(MLLM)は、OCR、チャート理解、空間的推論、視覚的質問応答、コスト、レイテンシにまたがるヘテロジニアスな強度を持つ。
本稿では,MLLMルーティングを実効的マルチモーダルユーティリティ予測として定式化するルータであるLatentを提案する。
MMR-BenchとVL-Benchの実験では、Latentは固定モデル、特徴レベル、学習ルータベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-05-11T22:42:12Z) - ConsRoute:Consistency-Aware Adaptive Query Routing for Cloud-Edge-Device Large Language Models [7.869130026927]
ConsRouteは、大規模言語モデルのための軽量でセマンティックな、適応的なルーティングフレームワークである。
ConsRouteは、エンドツーエンドのレイテンシと推論コストを40%近く削減しながら、ほぼクラウドのパフォーマンス(=95%)を達成することを示す。
論文 参考訳（メタデータ） (2026-03-22T13:54:12Z) - Towards Fair and Comprehensive Evaluation of Routers in Collaborative LLM Systems [46.00150374727385]
大規模言語モデル(LLM)は成功したが、コストとプライバシの制約により、より小さなモデルをローカルにデプロイする必要がある。
本稿では,ルータ能力,シナリオアライメント,ドメイン間ロバスト性という3次元の原理的評価フレームワークであるRuterXBenchを提案する。
ProbeDirichletは、学習可能なディリクレを介して層間隠れ状態を集約し、確率的トレーニングを行う軽量ルータである。
論文 参考訳（メタデータ） (2026-02-12T12:28:27Z) - Guided Verifier: Collaborative Multimodal Reasoning via Dynamic Process Supervision [11.159231524113764]
マルチモーダル大規模言語モデル(MLLM)の複雑な推論能力を高めるための重要なメカニズムとして強化学習(RL)が登場した。
本稿では,これらの構造的制約に対処する textbfGuided Verifier フレームワークを提案する。
我々は,マルチモーダル幻覚をターゲットとした特殊なデータ合成パイプラインを開発し,プロセスレベルの負の textbfCoRe データセットとtextbfCorrect-guide textbfReasoning トラジェクトリを構築し,ガイド付き検証器を訓練する。
論文 参考訳（メタデータ） (2026-02-04T07:38:42Z) - ORCH: many analyses, one merge-a deterministic multi-agent orchestrator for discrete-choice reasoning with EMA-guided routing [0.6445605125467574]
ORCHは異種言語モデルを編成する離散選択推論のためのフレームワークである。
タスクの分解と回答の集約に固定されたルールを使用し、パイプラインを予測可能、再現可能、トレーニング不要にする。
MMLU、MMLU-Pro、GSM8Kの実験では、ORCHは単一モデルベースラインと多数投票アンサンブルを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-02T08:27:58Z) - Refinement Provenance Inference: Detecting LLM-Refined Training Prompts from Model Behavior [58.751981587234916]
本稿では,Refinement Provenance Inference (RPI)監査タスクをRefinement Provenance Inference (RPI)として定式化する。
本稿では,ロジットレベルの信号で教師が強制する可能性機能を融合させるロジットベースのフレームワークであるReProを提案する。
トレーニング中、ReProはシャドウファインチューニングを通じて転送可能な表現を学び、訓練データアクセスなしで、見えない犠牲者の証明を推測するために軽量のリニアヘッドを使用する。
論文 参考訳（メタデータ） (2026-01-05T10:16:41Z) - DiSRouter: Distributed Self-Routing for LLM Selections [23.38983740640377]
集中制御から分散ルーティングへ移行する新しいパラダイムであるDiS(Distributed Self-)を紹介する。
DiS では、クエリは LLM エージェントのネットワークを横切り、それぞれが自身の自己認識に基づいて他のエージェントに答えるかどうかを独立に決定する。
大規模な実験により、DiSは様々なシナリオで既存のルーティング方法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-10-22T03:36:40Z) - LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。
パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。
SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
論文 参考訳（メタデータ） (2025-06-16T17:53:18Z) - Universal Model Routing for Efficient LLM Inference [69.86195589350264]
モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である
動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。
これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
論文 参考訳（メタデータ） (2025-02-12T20:30:28Z) - Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。
1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。
我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
論文 参考訳（メタデータ） (2025-02-06T18:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。