論文の概要: You Cannot Pick a Provider From the Price List: Market-Aware Routing for Open-Weight LLM Inference

• arxiv url: http://arxiv.org/abs/2609.37902v1
• Date: Tue, 29 Sep 2026 16:02:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.721743
• Title: You Cannot Pick a Provider From the Price List: Market-Aware Routing for Open-Weight LLM Inference
• Title（参考訳）: 価格表からプロバイダを選ぶことはできない:オープンウェイトLSM推論のための市場対応ルーティング
• Abstract要約: オープンウェイトな推論市場は第2の、ほとんど無視された意思決定軸を導入している。 モデルを選択した後も、クライアントはどのプロバイダがそれを提供するかを選択する必要がある。 オープンモデル、競合するプロバイダ、複数のタスクタイプ、そして3つの測定波でライブエンドポイントを計測すると、プロバイダの選択は価格リストから推測できないことが分かりました。
• 参考スコア（独自算出の注目度）: 12.821653078381678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing LLM routers choose among models using static per-model costs. We show that open-weight inference markets introduce a second, largely ignored decision axis: after choosing a model, a client must still choose which provider serves it. Measuring live endpoints across [nummodels] open models, competing providers, multiple task types, and three measurement waves, we find that provider choice cannot be inferred from the price list. The same model can vary sharply in quality, latency, availability, and price across providers; higher-priced providers are consistently faster, but price does not reliably predict quality or availability; and provider feasibility is task-selective, with one deployment nearly normal on knowledge tasks but catastrophically degraded on multi-step reasoning. We formulate same-model provider selection as a price-taker market-aware routing problem. A simple measured-map policy routes to the cheapest provider that is both quality-equivalent and healthy, yielding matched-quality savings while avoiding degraded endpoints. Because the map drifts, we introduce FACET, an online provider router that certifies per-(provider x task) feasibility facets and fails safe to an anchor before serving uncertified arms. Across relaxed deployment assumptions, FACET tolerates imperfect task assignment and sparse feedback, while systematic evaluator bias exposes a quality-signal trust boundary that can be mitigated with ground-truth probes or audits. Live provider runs further confirm that certification can move real traffic from a premium anchor to a substantially cheaper certified endpoint. Our results suggest that market-aware LLM routing must measure not only which model to use, but also who serves it.
• Abstract（参考訳）: 既存のLLMルータは、静的なモデルごとのコストでモデルを選択する。 オープンウェイト推論市場は、モデルを選択した後も、どのプロバイダがそれを提供するかをクライアントが選択しなければなりません。 オープンモデル、競合するプロバイダ、複数のタスクタイプ、そして3つの測定波でライブエンドポイントを計測すると、プロバイダの選択は価格リストから推測できないことが分かりました。 同じモデルでは、プロバイダ間で品質、レイテンシ、可用性、価格が大きく異なり、高価格のプロバイダは一貫して高速だが、価格が確実に品質や可用性を予測できない。 価格テーカーの市場対応ルーティング問題として,同モデルプロバイダの選択を定式化する。 単純な測定マップポリシは、品質等価かつ健全な、最も安価なプロバイダにルートする。 マップがドリフトするので、FACETは、(プロジェクタxタスク)毎のフェーザを認証し、認証されていないアームを提供する前にアンカーに安全でないオンラインプロバイダールータである。 FACETは不完全なタスク割り当てとスパースフィードバックを許容する一方で、体系的評価器のバイアスは、地上調査や監査で緩和できる品質信号の信頼境界を露呈する。 ライブプロバイダはさらに、認証が実際のトラフィックをプレミアムアンカーからかなり安価な認証エンドポイントに移行することを確認している。 以上の結果から,市場対応LLMルーティングは,どのモデルを使用するかだけでなく,誰が使用するかも測定する必要があることが示唆された。

関連論文リスト

• Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation [64.51088225051959]
  不均一なAIシステムは、最低コストで最も効果的に答えられる専門家にクエリをルーティングすることで、品質と効率を向上させることができる。 我々はこのトレードオフをPandoraのBoxの例として定式化した。 ガウス信号モデルの下では、得られたポリシーは、各専門家とインプットに対して、その価値見積の精算がそのコストに値するかどうかを決定する、クローズドフォームな情報表現を持つ。
  論文  参考訳（メタデータ） (2026-08-20T17:54:37Z)
• Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models [0.10152838128195468]
  この研究は、大規模言語モデルに対する予算対応テストタイムモデル選択を定式化する。 単位コスト当たりの限界精度の推定によるオンライン再サンプリング・オー・リルート(RoR)割り当てポリシーを提案する。 11モデルのオープンウェイトプールから4つの異なる難易度ベンチマークで新たに生成した正しさテンソルの実験により、提案されたRoRポリシーは、単一ルート、一コミットルータ、予算対応のベスト・オブ・K、カスケード、ランダム・アロケーションベースラインに対して、良好なコスト品質のロバスト性を達成することが示された。
  論文  参考訳（メタデータ） (2026-07-09T16:34:15Z)
• Designing Service Systems from Textual Evidence [18.85883540190321]
  高価な人事監査を最小化しながら、信頼性の高い最適なサービス構成を特定する方法について検討する。 本研究では,プロキシスコアと逆確率重み付け残差を組み合わせた推定器を開発した。
  論文  参考訳（メタデータ） (2026-03-11T04:34:46Z)
• Reliable LLM-Based Edge-Cloud-Expert Cascades for Telecom Knowledge Systems [54.916243942641444]
  大規模言語モデル(LLM)は、通信などの分野において、自動化の鍵となる存在として浮上している。 本研究では,問合せパイプラインによる意思決定を支援する,エッジクラウドに精通したLLMベースの知識システムについて検討する。
  論文  参考訳（メタデータ） (2025-12-23T03:10:09Z)
• Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
  BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。 提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
  論文  参考訳（メタデータ） (2025-10-08T18:24:59Z)
• Meta-Router: Bridging Gold-standard and Preference-based Evaluations in Large Language Model Routing [15.724480880994259]
  大規模言語モデル(LLM)ルータは、クエリ毎に候補のプールから最も適切なモデルを選択する。 クラウドソーシングやLSM-as-a-judgeシステムを通じて収集された嗜好ベースのデータは、より安価でスケーラブルだが、応答の真の品質を反映することにはバイアスが伴うことが多い。 我々は、好みデータバイアスを補正し、2つのデータソース間の不均衡に対処し、ルーティングの堅牢性と効率を改善する統合因果ルータトレーニングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-09-29T21:44:00Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。