論文の概要: Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation
- arxiv url: http://arxiv.org/abs/2606.28925v1
- Date: Sat, 27 Jun 2026 13:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.732051
- Title: Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation
- Title（参考訳）: 設定値予測としてのマルチエージェントルーティング:WildChatベンチマークとコストアウェア評価
- Abstract要約: ここで導入されたベンチマークには、固定された12エージェントカタログに3000のプロンプトが含まれている。
評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、制約付き重み付け設定を組み合わせる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool and agent routing from natural-language prompts is naturally a set-valued prediction problem: a single query may require multiple agents, while over-selection increases execution cost. The benchmark introduced here is derived from WildChat and contains 3,000 prompts over a fixed 12-agent catalog, with AI-assisted heuristic labels under a fixed schema and controlled rebalancing for multi-label evaluation. The evaluation protocol combines set-level metrics (Precision, Recall, F1, Jaccard, and Exact Match), latency, an execution-oriented capability-coverage simulation, and a constrained weighted-routing setting based on ordinal agent-cost tiers. Compared methods include nearest-neighbor matching, linear multilabel classification, dependency-aware baselines, a fine-tuned encoder, deterministic weighted post-scoring via Weighted Agent Routing (WAR), and a zero-shot LLM baseline. Results show that supervised routers substantially outperform nearest-neighbor and zero-shot LLM routing. The fine-tuned encoder achieves the strongest unconstrained set accuracy, while the linear multilabel model provides the strongest practical baseline. In the constrained setting, the weighted routing layer improves utility when applied on top of strong supervised scorers, with the largest gain observed for Encoder+WAR. Overall, the benchmark and evaluation protocol support reproducible study of accuracy-cost trade-offs in fixed-catalog multi-agent routing.
- Abstract（参考訳）: 自然言語プロンプトからのツールとエージェントのルーティングは、当然、設定された予測問題である。
ここで導入されたベンチマークはWildChatから派生したもので、固定された12エージェントカタログに3000のプロンプトが含まれており、AI支援ヒューリスティックラベルを固定スキーマの下で使用し、マルチラベル評価のためのリバランシングを制御する。
評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、および通常エージェントコスト層に基づく制約付き重み付け設定を組み合わせる。
比較手法としては、最寄りのマッチング、線形マルチラベル分類、依存性認識ベースライン、微調整エンコーダ、重み付きエージェントルーティング(WAR)による決定論的重み付きポストスコーシング、ゼロショットLLMベースラインなどがある。
その結果、教師付きルータは最寄りのLLMルーティングやゼロショットのLLMルーティングよりも大幅に優れていた。
微調整エンコーダは、最強の制約のないセット精度を達成する一方、線形多重ラベルモデルは最強の実用的なベースラインを提供する。
制約された設定では、重み付けされたルーティング層は、エンコーダ+WARで観測される最大の利得で、強力な教師付きスコアラーの上に適用されると実用性を向上させる。
全体として、ベンチマークおよび評価プロトコルは、固定触媒多エージェントルーティングにおける精度-コストトレードオフの再現可能な研究を支援する。
関連論文リスト
- SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks [26.364477396804194]
モデルルーティングは、クエリ毎に候補プールから最も適切なモデルを選択し、品質とコストのバランスをとることを目的としている。
既存のVLMルーティング研究は、従来のVQA評価に限られており、オープンセットシナリオに対する体系的な校正最適化が欠如している。
VLM-ExecBenchはコード、エージェント、検索ドメインをカバーする最初の実行指向のVLMルーティングベンチマークであり、(2)クエリとハイブリッドキャリブレーションによって構築されたモデル行動プロファイルとをマッチングするデュアルトワールータSCOPEであり、(3)CRM+RCCRはアーキテクチャに依存しないコスト認識の目的であり、継続的な妥当性にコストプライオリティをエンコードする。
論文 参考訳（メタデータ） (2026-08-12T14:49:28Z) - TRACE-ROUTER: Task-Consistent and Adaptive Online Routing for Agentic AI [8.291830023781403]
本稿では,タスクレベルのルーティングフレームワークであるTRACEについて述べる。
タスクの遅延フィードバックを活用することで、TRACEはワークロードに適応するルーティングポリシを学ぶ。
精度にマッチしたトレードオフを継続的に改善し、非レイテンシフロンティアポイントを達成します。
論文 参考訳（メタデータ） (2026-07-24T16:29:06Z) - Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - TwinRouterBench: Fast Static and Live Dynamic Evaluation for Realistic Agentic LLM Routing [24.63595849324157]
2トラックのステップレベルのルーティングベンチマークであるTwinBenchを紹介した。
静的トラックは、SWE-bench、BFCL、mtRAG、QMSum、PinchBenchの520インスタンスから970のルータ可視プレフィックスを提供する。
ダイナミックトラックは、500ケースのSWE-bench Verifiedスイートでルーターを走らせるハーネスを提供する。
論文 参考訳（メタデータ） (2026-05-14T08:58:59Z) - Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection [57.3886742625188]
Pre-Routeは、応答前に構造化推論を実行するプロアクティブなルーティングフレームワークである。
本研究は, (i) LLMは, ガイドラインを確実に適用可能な遅延ルーティング能力を有すること, (ii) 線形プローブにより, 表現空間における最適ルーティングの分離性を高めること, (iii) 蒸留により, この推論構造を, 軽量展開のためのより小さなモデルに伝達すること,の3つの重要な知見を示す。
論文 参考訳（メタデータ） (2026-05-11T09:10:55Z) - Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。
AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。
5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-03-13T12:26:05Z) - ORCH: many analyses, one merge-a deterministic multi-agent orchestrator for discrete-choice reasoning with EMA-guided routing [0.6445605125467574]
ORCHは異種言語モデルを編成する離散選択推論のためのフレームワークである。
タスクの分解と回答の集約に固定されたルールを使用し、パイプラインを予測可能、再現可能、トレーニング不要にする。
MMLU、MMLU-Pro、GSM8Kの実験では、ORCHは単一モデルベースラインと多数投票アンサンブルを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-02T08:27:58Z) - Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。
ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T17:51:26Z) - AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering [51.07491603393163]
tAgentは知識グラフ誘導ルーティング問題としてマルチエージェントQAを定式化するフレームワークである。
エージェントアウトプットのソフトな監督と重み付けされた集約を活用することで、エージェントは多様なエージェントの相補的な強みを捉える、原則化された協調スキームを学ぶ。
論文 参考訳（メタデータ） (2025-10-06T23:20:49Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳（メタデータ） (2025-08-06T21:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。