論文の概要: The Shadow Price of Intelligence: Quality Degradation in LLM Inference as a Supply Chain Problem
- arxiv url: http://arxiv.org/abs/2608.23986v2
- Date: Sat, 29 Aug 2026 15:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 13:34:07.562046
- Title: The Shadow Price of Intelligence: Quality Degradation in LLM Inference as a Supply Chain Problem
- Title（参考訳）: インテリジェンスのシャドープライス:サプライチェーン問題としてのLCM推論の品質劣化
- Abstract要約: 顧客が回答を購入すると、問い合わせの価格が上がるので、会計が間違っていることを示す。
劣化した解答は何らかの確率で失敗し、失敗した解答は再試行として返り咲くか、あるいは解答として出発する。
混雑下では、スロットリングはコストレバーではなく需要レバーである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model providers are compute constrained, and their universal response to congestion is to degrade service: route queries to smaller models, cut reasoning effort, truncate context. The industry's accounting says this saves money. We show the accounting is wrong, because it prices a query when the customer buys an answer. A degraded answer fails with some probability, and a failed answer either returns as a retry, inflating arrivals when the system is most loaded, or departs as churn, destroying lifetime value on a ledger no cost dashboard displays. We model inference allocation with three classical primitives: a newsvendor whose stockout cost is churned lifetime value, a geometric retry multiplier in which the recycled product is dissatisfaction, and a two-regime transient queue whose arrival rate is made endogenous by retries. Statically, there is a nonempty, measurable regime in which a cheaper model saves energy per satisfied answer while consuming strictly more capacity per satisfied answer, so the discount inverts exactly when capacity binds. Dynamically, a reactive throttle fired during a surge can cross an ignition threshold beyond which it manufactures more traffic than it sheds, and a release rule set below the degraded equilibrium converts a transient surge into a permanent degraded regime. With heterogeneous customers, throttling is a transportation problem in retry-inflated load whose optimal policy rations intelligence by critical ratio, class by class, and whose dual, the shadow price of intelligence, prices a marginal query by class and by hour; closed-form trajectories make it computable in milliseconds. Stochastic analysis sharpens rather than erodes the thesis: the ignition boundary acquires a predicted width, and noise punishes the reactive policy that parks the system against it. Under congestion, throttling is not a cost lever but a demand lever.
- Abstract（参考訳）: 大規模な言語モデルプロバイダは計算の制約を受けており、その混雑に対する普遍的な応答は、より小さなモデルにクエリをルーティングし、推論の労力を削減し、コンテキストを切断する、というサービスのアップグレードである。
業界会計によると、これはお金を節約する。
顧客が回答を購入すると、問い合わせの価格が上がるので、会計が間違っていることを示す。
劣化した解答はある程度の確率で失敗し、失敗した解答は再試行として戻り、システムが最もロードされたときに到着を膨らませるか、混乱して出発する。
本稿では,3つの古典的プリミティブを用いて,ストックアウトコストが削減されたニューズベンダー,リサイクルされた製品が満足できない幾何学的再試行乗算器,到着率を再試行によって内在的にする2段階の遷移待ち行列をモデル化する。
統計的には、より安価なモデルが満足度毎のエネルギーを節約し、満足度毎のキャパシティを厳格に消費する、空でない測定可能な体制が存在するため、この割引はキャパシティが結合するときに正確に逆転する。
動的に、急上昇時に発火する反応性スロットルは、放火しきい値を超え、より多くのトラフィックを発生させることができ、劣化平衡以下に設定された放出規則は過渡的な急上昇を恒久的な劣化状態に変換する。
不均一な顧客では、スロットリングはリトライ膨らませた負荷の輸送問題であり、最適ポリシーは、臨界比、クラスごとにインテリジェンスを供給し、その2つ、クラスのシャドウ価格、時間単位での限界クエリを価格で設定する。
着火境界は予測された幅を獲得し、騒音は系をそれに対して駐車する反応政策を罰する。
混雑下では、スロットリングはコストレバーではなく需要レバーである。
関連論文リスト
- ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - RLCascadeRouter: Quality-Estimator-Free Cascade Routing via Reinforcement Learning [6.614808404204836]
本稿では,カスケードルーティングをマルコフ決定プロセスとして定式化する品質推定自由フレームワークを提案する。
トラジェクティブリターンとアドバンテージを使用して、パフォーマンスコストの目標を直接最適化する。
論文 参考訳（メタデータ） (2026-08-16T15:47:04Z) - Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
容量制約下での遅延オンライン凸最適化(OCO)について検討した。
1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。
包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
論文 参考訳（メタデータ） (2026-06-10T06:37:06Z) - Constrained Auto-Bidding via Generative Response Modeling [4.3095605379591255]
自動入札システムは、予算制約やコスト・パー・アクセシションなどの比率目標の下で、長期的地平線上の広告主価値を最大化することを目的としている。
コントロールベースのペアリングは逸脱に反応するが、将来の状況は予測できない。一方、RLと生成法は、制約を報酬信号に折り畳み、違反を回避し、分散シフトの下で劣化させる。
単一入札乗算器の関数として,将来の交通量と地平線集約コスト/値曲線を共同で予測する履歴条件付きシーケンスモデルであるジェネレーティブ・レスポンス・モデル(GRM)を用いて,学習対象を行動から応答へシフトする。
論文 参考訳（メタデータ） (2026-05-27T01:06:54Z) - IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。
IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
論文 参考訳（メタデータ） (2026-04-22T03:03:33Z) - Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization [74.91418266859297]
インプシットプロセス報酬モデル(PRM)は、推論プロセスに沿ってきめ細かな報酬信号を提供する。
トレーニングはシーケンスレベルの集約のみを制限しますが、推論はローカルステップの品質を反映するためにトークンレベルのスコアが必要です。
本稿では,予測精度を推定するプレフィックス条件付き値関数を直接学習する新しいインプリシット・プレフィックス・バリュー・リワード・モデル(IPVRM)を提案する。
また,サンプルトークンと高確率候補トークンの両方に対してTDの利点を演算する分散レベルRL(DistRL)を提案する。
論文 参考訳（メタデータ） (2026-04-14T18:19:54Z) - The Value of Information in Resource-Constrained Pricing [17.844881458673267]
ハードキャパシティの制約の下では、不正確な予測に作用することで、将来の期間に必要な在庫を不可逆的に減少させることができる。
本研究では,予測の不確実性が線形需要,雑音,有限容量の動的価格決定にどのように伝播するかを検討する。
すべてのアルゴリズムは、キャパシティ境界付近の価格を安定化する境界アトラクション機構に依存している。
論文 参考訳（メタデータ） (2026-03-26T03:06:57Z) - Learning Steerable Clarification Policies with Collaborative Self-play [67.67872810596839]
不明瞭なクエリを処理するために、AIアシスタントは不確実性を管理するためのポリシーが必要である。
我々は,この不確実性を管理するために,自己再生を用いて評価可能な政策を訓練することを提案する。
このことが、提供されたコストに応じて予測可能な振る舞いを変更する、評価可能なポリシーにつながることを示す。
論文 参考訳（メタデータ） (2025-12-03T18:49:54Z) - Online Smoothed Demand Management [25.890068028018018]
我々は、オンラインスムーズな需要管理(textttOSDM)$(textttOSDM)$)と呼ばれる一連のオンライン問題を紹介し、研究する。
$textttOSDM$では、オペレータは、購入するエネルギの量と、配信するエネルギの量という、各ステップで2つの決定を行う。
我々は、$textttPAAD$と呼ばれる競合アルゴリズムを提案し、最適な競合比を達成することを示す。
論文 参考訳（メタデータ） (2025-11-23T17:59:51Z) - Autoregressive Bandits [58.46584210388307]
本稿では,オンライン学習環境であるAutoregressive Banditsを提案する。
報酬プロセスの軽微な仮定の下では、最適ポリシーを便利に計算できることが示される。
次に、新しい楽観的後悔最小化アルゴリズム、すなわちAutoRegressive Upper Confidence Bound (AR-UCB)を考案し、$widetildemathcalO left( frac(k+1)3/2sqrtnT (1-G)のサブ線形後悔を被る。
論文 参考訳（メタデータ） (2022-12-12T21:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。