論文の概要: COMPASS: Routing via Capability-Oriented Model Profiling with Adaptive Search, Selection, and Tool Use
- arxiv url: http://arxiv.org/abs/2610.27822v1
- Date: Tue, 20 Oct 2026 08:13:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.715699
- Title: COMPASS: Routing via Capability-Oriented Model Profiling with Adaptive Search, Selection, and Tool Use
- Title（参考訳）: CompASS: アダプティブ検索,選択,ツール使用による機能指向モデルプロファイリングによるルーティング
- Abstract要約: LLMルーティングは、有能なモデルを低コストで選択することを目的としているが、特殊なルータはモデルやタスクの変更に伴って更新を必要とする可能性がある。
我々は,LCMがルーティングのレシピに従うエージェントルータであるCompassを提案し,ツールを用いて性能とコストの証拠を収集し,候補解を検査する。
評価の結果,エージェントルーティングは,専門的および訓練されたルーティングベースラインに対して,精度の向上とモデル呼び出しコストの低減を図っている。
- 参考スコア（独自算出の注目度）: 0.5156484100374058
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LLM routing aims to select a capable model at low cost, but specialized routers can require updates as models and tasks change. We propose COMPASS, an agentic router in which an LLM follows a routing recipe, gathers performance and cost evidence through tools, and optionally inspects candidate answers before selecting a model. Our evaluations on LLMRouterBench and DeepSWE show that agentic routing can improve accuracy and lower model-call cost relative to specialized and trained routing baselines, without routing-specific training. On LLMRouterBench, COMPASS reaches 69.85% accuracy at \$139.57, compared with RLCascadeRouter's 69.14% at \$180.22. On DeepSWE under fixed five-fold cross-validation, it reaches 78.1% at \$215, compared with 74.1% at \$500 for the best single model. COMPASS also supports routing across benchmarks and adapts to an expanded model pool by reading new evaluation records, without changing the router's weights or prompt.
- Abstract（参考訳）: LLMルーティングは、有能なモデルを低コストで選択することを目的としているが、特殊なルータはモデルやタスクの変更に伴って更新を必要とする可能性がある。
提案するエージェントルータCompASSは, LLMがルーティングのレシピに従い, ツールを用いて性能とコストの証拠を収集し, モデルを選択する前に任意の回答を検査する。
LLMRouterBench と DeepSWE による評価では,エージェントルーティングは,特定のルーティングベースラインや訓練されたルーティングベースラインと比較して精度の向上とモデルコールコストの低減が可能である。
LLMRouterBenchでは、CompASSは139.57ドルで69.85%、RCCascadeRouterは69.14%、180.22ドルで69.85%に達する。
DeepSWEでは5倍のクロスバリデーションが固定され、78.1%が215ドル、74.1%が500ドルに達した。
また、CompASSはベンチマーク間のルーティングをサポートし、ルータの重みやプロンプトを変更することなく、新しい評価レコードを読むことで拡張されたモデルプールに適応する。
関連論文リスト
- Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing [8.947401874648028]
最初のモデル選択、後続のハンドオフ、トレーニングターゲットは、複数のターンにまたがるLLMタスクの成功とコストに影響を与える。
我々のデータセットには、BFCL、MultiWOZ、$$$-retailの3つのQwenモデルの34,204の完全実行が含まれている。
論文 参考訳（メタデータ） (2026-10-11T23:45:23Z) - FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing [71.04470934007537]
既存のルーティングメソッドはLLMを独立してスコア付けし、上位$kのモデルを選択する。
これはモデル相関を無視し、厳格な計算予算を強制する。
モデリングを明示的にモデル化するルーティングフレームワークであるFlexを提案します。
論文 参考訳（メタデータ） (2026-09-29T21:44:05Z) - RouteJudge: An Open Platform for Reproducible and Preference-Aware LLM Routing [41.435534676485936]
RouteJudgeは、LLMルーティングシステムのためのオンラインのペアワイズ評価フレームワークである。
複数のルーティング戦略は独立して、同じモデルプールと予算制約の下でモデルモデルを推奨します。
結果のユーザの好みは、比較されたレスポンスの背後にあるルーティング戦略に起因している。
論文 参考訳（メタデータ） (2026-06-17T07:35:10Z) - Rubric-Guided Process Reward for Stepwise Model Routing [18.58577344135632]
ステップワイズモデルルーティングは、各推論ステップを適切なモデルに割り当てることで、Large Reasoning Models(LRM)の効率を改善する。
最近の方法では、順序決定プロセスとしてルーティングを定式化し、強化学習でルータを訓練する。
ステップワイズモデルルーティングのためのルーリック誘導プロセス報酬フレームワークであるRoRoを提案する。
論文 参考訳（メタデータ） (2026-05-28T03:42:24Z) - Learning Agent Routing From Early Experience [55.88886987958933]
バウンダリ(Boundary)は、初期の行動経験とルーリック誘導推論を使用して、クエリに直接推論で答えるか、エージェントにエスカレートするかを決定する、トレーニング不要なルーティングフレームワークである。
また, 直接LLM推定よりも28.6%性能が向上し, 予測時間を60.6%短縮することを示した。
論文 参考訳（メタデータ） (2026-05-08T03:18:40Z) - RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents [91.0187958746262]
RouteMoAは動的ルーティングを備えた効率的な混合エージェントフレームワークである。
軽量スコアラを使用して、クエリから粗い粒度のパフォーマンスを予測することで、初期スクリーニングを行う。
既存のモデル出力に基づいて、軽量な自己評価とクロスアセスメントによってこれらのスコアを洗練し、追加の推論なしで後部修正を提供する。
論文 参考訳（メタデータ） (2026-01-26T04:22:22Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - xRouter: Training Cost-Aware LLMs Orchestration System via Reinforcement Learning [104.63494870852894]
我々は,学習したルータが直接応答するか,あるいは1つ以上の外部モデルを呼び出すことができるツールコールベースのルーティングシステム x を提案する。
当社の実装には、報酬とコスト会計を含む、完全な強化学習フレームワークが含まれています。
さまざまなベンチマークで、xはコストパフォーマンスのトレードオフを強く達成します。
論文 参考訳（メタデータ） (2025-10-09T16:52:01Z) - Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。
提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
論文 参考訳（メタデータ） (2025-10-08T18:24:59Z) - CARROT: A Cost Aware Rate Optimal Router [22.786863130994217]
本稿では,コストAware Rate Optimal rouTerを提案する。
いくつかの代替ルータに対してCARROTの性能を実証的に検証する。
論文 参考訳（メタデータ） (2025-02-05T15:17:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。