論文の概要: Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm
- arxiv url: http://arxiv.org/abs/2606.13241v1
- Date: Thu, 11 Jun 2026 11:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.768477
- Title: Brick: Spatial Capability Routing for the Mixture-of-Models (MoM) Paradigm
- Title(参考訳): Brick:Mixture-of-Models(MoM)パラダイムのための空間能力ルーティング
- Authors: Francesco Massa, Marco Cristofanilli,
- Abstract要約: LLMルータはドメインラベル、キーワード、トークン数といった表面的な機能に依存しており、実際にモデルの成功を決定するドメイン内の分散を無視している。
Brickは6つの機能次元で各モデルをスコアし、費用対効果の幾何学的ルールでディスパッチするマルチモーダルルータである。
5,504クエリのベンチマークでは、最高品質のBrickは76.98%の精度に達し、最高のシングルモデル(75.02%)とすべてのテストルータを上回っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Defining query difficulty is one of the hardest problems in deployment engineering. Existing LLM routers rely on surface features such as domain labels, keywords, and token count, ignoring the within-domain variance that actually determines model success. Frontier models cost ten to one hundred times more than local open-weight models, so at production scale even small per-request savings become a direct cloud-bill lever. We present Brick, a multimodal router that scores each model on six capability dimensions, combines this with a per-query difficulty estimate, and dispatches via a cost-penalized geometric rule. A continuous preference knob lets operators slide between max-quality and max-saving profiles at deploy time. On a benchmark of 5,504 queries, Brick at max-quality reaches 76.98% accuracy, beating the best single model (75.02%) and all tested routers. At a neutral cost-quality profile, Brick achieves 74.11% accuracy at 4.71x lower cost than always using the strongest model. At min-cost, it cuts cost 22.15x with 11.85 points accuracy loss. Median latency drops from 51.2s to 22.8s.
- Abstract(参考訳): クエリの難しさの定義は、デプロイメントエンジニアリングにおける最も難しい問題のひとつです。
既存のLLMルータはドメインラベル、キーワード、トークン数といった表面的な機能に依存しており、実際にモデルの成功を決定するドメイン内の分散を無視している。
フロンティアモデルは、地元のオープンウェイトモデルよりも10倍から100倍の費用がかかるため、生産規模では、リクエスト毎の小さな貯蓄さえ、直接のクラウドビルレバーになる。
本稿では,6つの機能次元で各モデルをスコアリングするマルチモーダルルータであるBrickについて述べる。
継続的選好ノブでは、デプロイ時に最大品質と最大省力プロファイルをスライドすることができる。
5,504クエリのベンチマークでは、最高品質のBrickは76.98%の精度に達し、最高のシングルモデル(75.02%)とすべてのテストルータを上回っている。
中立的なコスト品質のプロファイルでは、ブリックは常に最強のモデルを使用するよりも4.71倍のコストで74.11%の精度を達成している。
ミニコストでは22.15倍、11.85ポイントの精度損失がある。
メディアレイテンシは51.2sから22.8sに低下する。
関連論文リスト
- RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization [13.891522069967507]
RouteNLPはクローズドループフレームワークで、タイアップされたモデルポートフォリオにクエリをルーティングし、タスク毎の品質制約を満たすとともに、コストを最小限に抑える。
企業顧客サービス部門の8週間のパイロットデプロイメント処理で、RuteNLPは推論コストを58%削減し、91%の応答受け入れを維持し、p99レイテンシを1,847msから387msに削減した。
論文 参考訳(メタデータ) (2026-04-26T07:34:36Z) - MTRouter: Cost-Aware Multi-Turn LLM Routing with History-Model Joint Embeddings [47.963523156965174]
大規模言語モデルに対する費用対効果を考慮したマルチターンルーティングについて検討する。
本稿では,対話履歴と候補モデルを結合履歴モデルにエンコードするMTを提案する。
実験によると、MTはパフォーマンスコストのトレードオフを改善する。
論文 参考訳(メタデータ) (2026-04-26T04:42:21Z) - The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More [76.93600828673503]
リストAPIの価格設定は、実際のコストに対する信頼性の低いプロキシである。
思考トークンのコストの削減は、ランキングの反転を70%削減します。
この結果から,コスト意識モデル選択と透過的な要求毎のコスト監視の必要性が示唆された。
論文 参考訳(メタデータ) (2026-03-25T06:07:39Z) - Pyramid MoA: A Probabilistic Framework for Cost-Optimized Anytime Inference [0.0]
Pyramid MoA"は階層的なMixture-of-Agentsアーキテクチャで、軽量ルータを使用してクエリを動的にエスカレートする。
システムには無視可能な遅延オーバーヘッド(+0.82s)が導入されており、パフォーマンスと予算のトレードオフが調整可能であることを実証する。
論文 参考訳(メタデータ) (2026-02-23T04:47:47Z) - PROTEUS: SLA-Aware Routing via Lagrangian RL for Multi-LLM Serving Systems [1.0978496459260902]
本稿では,タウをランタイム入力として正確にターゲットとするルータ PROTEUS を提案する。
単一の訓練されたモデルは、トレーニングをせずに完全な精度のスペクトルを提供する。
RouterBench(11モデル,405Kクエリ)とSPROUT(14モデル,45Kクエリ)について検討する。
論文 参考訳(メタデータ) (2026-01-27T09:38:16Z) - RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents [91.0187958746262]
RouteMoAは動的ルーティングを備えた効率的な混合エージェントフレームワークである。
軽量スコアラを使用して、クエリから粗い粒度のパフォーマンスを予測することで、初期スクリーニングを行う。
既存のモデル出力に基づいて、軽量な自己評価とクロスアセスメントによってこれらのスコアを洗練し、追加の推論なしで後部修正を提供する。
論文 参考訳(メタデータ) (2026-01-26T04:22:22Z) - Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing [53.748685766139715]
大規模言語モデル(LLM)は、ほとんどのNLPタスクで優れていますが、そのサイズのため、デプロイに高価なクラウドサーバも必要です。
コスト削減と品質維持のために,それぞれの強みを組み合わせたハイブリッド推論手法を提案する。
実験では、反応の品質が低下することなく、最大40%大きなモデルへの呼び出しを削減できます。
論文 参考訳(メタデータ) (2024-04-22T23:06:42Z) - Exploring Sparse Expert Models and Beyond [51.90860155810848]
Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。
本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。
この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
論文 参考訳(メタデータ) (2021-05-31T16:12:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。