論文の概要: Routing with Generated Data: Annotation-Free LLM Skill Estimation and Expert Selection

• arxiv url: http://arxiv.org/abs/2601.09692v1
• Date: Wed, 14 Jan 2026 18:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.503249
• Title: Routing with Generated Data: Annotation-Free LLM Skill Estimation and Expert Selection
• Title（参考訳）: 生成データによるルーティング:アノテーションなしLLMスキル推定とエキスパート選択
• Authors: Tianyi Niu, Justin Chih-Yao Chen, Genta Indra Winata, Shi-Xiong Zhang, Supriyo Chakraborty, Sambit Sahu, Yue Zhang, Elias Stengel-Eskin, Mohit Bansal,
• Abstract要約: RGDは、ルータが生成されたクエリと回答のみに基づいてトレーニングされる、困難な設定である。 クエリ・アンサー・ルータ(クエリとラベルの両方を用いて)とクエリのみのルータを4つのベンチマークと12のモデルで評価する。 コンセンサス投票によってモデルの正しさを推定し,階層クラスタリングによるモデル固有のスキルニッチを識別する新しいクエリ専用ルータであるCASCALを提案する。
• 参考スコア（独自算出の注目度）: 70.73201284835498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) routers dynamically select optimal models for given inputs. Existing approaches typically assume access to ground-truth labeled data, which is often unavailable in practice, especially when user request distributions are heterogeneous and unknown. We introduce Routing with Generated Data (RGD), a challenging setting in which routers are trained exclusively on generated queries and answers produced from high-level task descriptions by generator LLMs. We evaluate query-answer routers (using both queries and labels) and query-only routers across four diverse benchmarks and 12 models, finding that query-answer routers degrade faster than query-only routers as generator quality decreases. Our analysis reveals two crucial characteristics of effective generators: they must accurately respond to their own questions, and their questions must produce sufficient performance differentiation among the model pool. We then show how filtering for these characteristics can improve the quality of generated data. We further propose CASCAL, a novel query-only router that estimates model correctness through consensus voting and identifies model-specific skill niches via hierarchical clustering. CASCAL is substantially more robust to generator quality, outperforming the best query-answer router by 4.6% absolute accuracy when trained on weak generator data.
• Abstract（参考訳）: 大規模言語モデル(LLM)ルータは、与えられた入力に対して最適なモデルを動的に選択する。 既存のアプローチでは、特にユーザ要求の分布が不均一で未知の場合には、実際に利用できないことが多い、地平線ラベル付きデータへのアクセスを前提としている。 生成データを用いたルーティング(RGD)は,生成したクエリと,ジェネレータによる高レベルなタスク記述から生成された回答にのみルータを訓練する難易度設定である。 クエリ専用ルータ(クエリとラベルの両方を使用)とクエリ専用ルータを4つのベンチマークと12のモデルで評価した結果,クエリ専用ルータよりも高速に劣化し,ジェネレータの品質が低下することがわかった。 本分析により, 有効生成器の2つの重要な特徴が明らかとなった。それらは, それぞれの質問に対して正確に応答し, モデルプール間で十分な性能差を生じさせる必要がある。 次に,これらの特性に対するフィルタリングによって生成データの品質が向上することを示す。 さらに,提案するCASCALは,コンセンサス投票によるモデル正当性を推定し,階層クラスタリングによるモデル固有のスキルニッチを識別する新しいクエリ専用ルータである。 CASCALは、ジェネレータの品質に対してかなり堅牢であり、弱いジェネレータデータで訓練された場合、最高のクエリ・アンサー・ルータを4.6%の精度で上回っている。

関連論文リスト

• ICL-Router: In-Context Learned Model Representations for LLM Routing [30.759446235510467]
  本稿では,モデル機能を表現するために,コンテキスト内ベクトルを用いた新しいルーティング手法を提案する。 本手法は,分散処理とアウト・オブ・ディストリビューション処理の両方において,最先端のルーティング性能を実現する。
  論文  参考訳（メタデータ） (2025-10-10T06:47:37Z)
• AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering [51.07491603393163]
  tAgentは知識グラフ誘導ルーティング問題としてマルチエージェントQAを定式化するフレームワークである。 エージェントアウトプットのソフトな監督と重み付けされた集約を活用することで、エージェントは多様なエージェントの相補的な強みを捉える、原則化された協調スキームを学ぶ。
  論文  参考訳（メタデータ） (2025-10-06T23:20:49Z)
• Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
  大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。 Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。 既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
  論文  参考訳（メタデータ） (2025-09-30T22:19:44Z)
• Meta-Router: Bridging Gold-standard and Preference-based Evaluations in Large Language Model Routing [15.724480880994259]
  大規模言語モデル(LLM)ルータは、クエリ毎に候補のプールから最も適切なモデルを選択する。 クラウドソーシングやLSM-as-a-judgeシステムを通じて収集された嗜好ベースのデータは、より安価でスケーラブルだが、応答の真の品質を反映することにはバイアスが伴うことが多い。 我々は、好みデータバイアスを補正し、2つのデータソース間の不均衡に対処し、ルーティングの堅牢性と効率を改善する統合因果ルータトレーニングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-09-29T21:44:00Z)
• LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
  ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。 パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。 SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:53:18Z)
• RAGRouter: Learning to Route Queries to Multiple Retrieval-Augmented Language Models [45.58601993849455]
  Retrieval-Augmented Generation (RAG) は、知識集約タスクにおけるLarge Language Models (LLM) の性能を大幅に向上させる。 既存のルーティング手法はRAGシナリオで最適以下の性能を示すのに対し,外部文書はLLMのクエリ応答能力に動的に影響を及ぼす。 本稿では、文書埋め込みとRAG機能埋め込みを利用して知識表現シフトを捉えるパラメトリックなRAG対応ルーティング設計であるRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-29T03:44:56Z)
• How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
  大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。 DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
  論文  参考訳（メタデータ） (2025-03-20T19:52:30Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。