論文の概要: Inference Auctions

• arxiv url: http://arxiv.org/abs/2609.40070v1
• Date: Wed, 30 Sep 2026 16:24:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.03772
• Title: Inference Auctions
• Title（参考訳）: 推論オークション
• Abstract要約: 我々は、ユーザーがより高速なサービスに入札できる推論オークションを設計する。 私たちのオークションは遅延を犠牲にすることなく経済的に効率よく優先順位を割り当てます。
• 参考スコア（独自算出の注目度）: 62.91620314460838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When inference demand exceeds available compute capacity, model providers must decide which requests should be served first. Users have different tolerances for delay from an LLM API, but current priority pricing schemes compress these differences into coarse fixed-price service tiers. We design an inference auction that allows users to bid for faster service. Our auction allocates priority in an economically efficient way without sacrificing latency, and we develop fast algorithms for implementing prices that incentivize truthful bidding. We also design an autobidding agent for our inference auction, where users specify an inference budget and the autobidder dynamically adjusts its bids over time to maximize user utility subject to the budget constraint. Experiments validate the practicality of our auction: it increases system welfare while maintaining the cache utilization and latency advantages of SGLang, a state-of-the-art inference serving framework.
• Abstract（参考訳）: 推論要求が利用可能な計算能力を超えた場合、モデルプロバイダは、最初にどの要求を提供するかを決定する必要がある。 ユーザはLLM APIからの遅延に対する耐性が異なるが、現在のプライオリティ価格スキームでは、これらの違いを粗い固定価格サービス層に圧縮している。 我々は、ユーザーがより高速なサービスに入札できる推論オークションを設計する。 我々の競売は遅延を犠牲にすることなく経済的に効率よく優先順位を割り当て、真剣な入札を動機付ける価格設定のための高速アルゴリズムを開発した。 また,推論入札のための自動入札エージェントを設計し,ユーザは推論予算を指定し,自動入札者は時間とともに入札を動的に調整し,予算制約を受けるユーザの有用性を最大化する。 キャッシュ利用とSGLangのレイテンシの優位性を維持しつつ,システムの健全性を向上する,最先端の推論サービスフレームワークである。

関連論文リスト

• SlackDrive: Reclaiming Runtime Slack for Adaptive Driving Inference [63.65135278399311]
  我々は、ワールドアクションモデルを駆動するプリ推論計算アロケータである textbfSlackDrive を提案する。 SlackDriveは、モデル実行前の各コントロールステップの計算予算を選択するために、実行中のレイテンシを再利用する。 DriveDreamer-Policyを使用したNAVSIM v2では、SlackDriveはレイテンシ制約付きSを、強いレイテンシ体制の下で最強のベースラインに対して21.7%改善する。
  論文  参考訳（メタデータ） (2026-09-23T13:13:19Z)
• Cost-aware Stopping for Bayesian Optimization [46.95172329282389]
  本稿では,様々な評価コストに適応し,チューニングが不要なベイズ最適化のためのコスト対応停止則を提案する。 我々は,最先端の取得関数と組み合わせた場合,停止規則によって得られる期待累積評価コストを拘束する理論的な保証を証明した。
  論文  参考訳（メタデータ） (2025-07-16T17:54:14Z)
• Procurement Auctions via Approximately Optimal Submodular Optimization [53.93943270902349]
  競売業者がプライベートコストで戦略的売り手からサービスを取得しようとする競売について検討する。 我々の目標は、取得したサービスの品質と販売者の総コストとの差を最大化する計算効率の良いオークションを設計することである。
  論文  参考訳（メタデータ） (2024-11-20T18:06:55Z)
• Multi-Time Scale Service Caching and Pricing in MEC Systems with Dynamic Program Popularity [20.108014787877025]
  モバイルエッジコンピューティングシステムでは、ベースステーション(BS)は、タスク実行時間を短縮するためにコンピューティングサービスを提供する。 BSは自身の利益を最大化するためにユーザ需要に基づいてサービスプログラムを価格設定し、ユーザは価格に基づいてオフロード戦略を決定してコストを最小化する。 サービスキャッシング,価格設定,タスクオフロードを共同で最適化する,2段階のスケールフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-04T10:23:56Z)
• Online Learning under Budget and ROI Constraints via Weak Adaptivity [57.097119428915796]
  制約付きオンライン学習問題に対する既存の原始双対アルゴリズムは、2つの基本的な仮定に依存している。 このような仮定は、標準の原始双対テンプレートを弱適応的後悔最小化器で与えることによって、どのように回避できるのかを示す。 上記の2つの前提が満たされていない場合に保証される、世界の最高の保証を証明します。
  論文  参考訳（メタデータ） (2023-02-02T16:30:33Z)
• Dynamic Budget Throttling in Repeated Second-Price Auctions [11.823210231891517]
  スロットリングは人気のある選択であり、広告主の総支出を管理するために、オークションのサブセットだけを選択することで、広告主の総支出を管理する。 本稿では,2次価格の繰り返しオークションにおいて,単一の広告主の動的予算絞りプロセスの理論的パノラマを提供する。 本研究は, 競売におけるスロットリングの理論的研究のギャップを埋めるものであり, この一般的な予算平滑化戦略の能力を明らかにするものである。
  論文  参考訳（メタデータ） (2022-07-11T08:12:02Z)
• Real-Time Optimization Of Web Publisher RTB Revenues [10.908037452134302]
  本稿では,第2価格オークションによるWebパブリッシャーの収益を最適化するエンジンについて述べる。 エンジンは競売ごとに約1ミリ秒で最適な予備価格を予測できる。
  論文  参考訳（メタデータ） (2020-06-12T11:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。