論文の概要: The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving

• arxiv url: http://arxiv.org/abs/2610.15629v1
• Date: Sun, 11 Oct 2026 13:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:31:02.691592
• Title: The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving
• Title（参考訳）: 精密化の価格:混合精度LDMの校正費用モデル
• Abstract要約: 平均ビット幅またはメモリ予算をスピードプロキシとして使用するアロケータは、実行を制限するリソースの変更を見逃す可能性がある。 サービス速度は、フェーズ、バッチサイズ、コンテキストの長さによって、計算、重み付け、キー値キャッシュアクセスによって制限される。
• 参考スコア（独自算出の注目度）: 3.6940301462288185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing a mixed-precision configuration for large language model (LLM) serving trades speed against accuracy. Allocators that use average bit-width or a memory budget as a speed proxy can miss changes in the resource that limits execution. We argue that served speed can be limited by compute, weight loading, or key-value (KV) cache access, depending on the phase, batch size, and context length. A byte-based proxy does not capture all of these costs, so fewer bits do not always mean faster serving. To address this gap, we build a cost model that accounts for the binding resource and use it in two ways. First, as a predictor: given a configuration and operating point, it estimates serving latency using constants calibrated for the model, GPU, and serving stack. We evaluate its accuracy across three hardware classes. Second, as an allocator: we combine modeled time costs with measured per-tensor accuracy costs and use a dynamic program to select a configuration under a latency or accuracy budget. We compare its configurations against byte-aware and sensitivity-only allocation.
• Abstract（参考訳）: 大規模言語モデル(LLM)のための混合精度設定を選択する。 平均ビット幅またはメモリ予算をスピードプロキシとして使用するアロケータは、実行を制限するリソースの変更を見逃す可能性がある。 サービス速度は、フェーズ、バッチサイズ、コンテキスト長に応じて計算、重み付け、キー値(KV)キャッシュアクセスによって制限される。 バイトベースのプロキシは、これらのコストをすべてキャプチャするわけではないので、ビットの削減が常に高速なサービスを意味するとは限らない。 このギャップに対処するために、バインディングリソースを考慮し、それを2つの方法で使用するコストモデルを構築します。 まず、予測器として、設定と運用ポイントが与えられた場合、モデル、GPU、サービススタックのキャリブレーションされた定数を使用して、サービスレイテンシを推定する。 我々はその精度を3つのハードウェアクラスで評価する。 第2に、アロケータとして、モデル化された時間コストとテンソル単位の精度のコストを組み合わせ、動的プログラムを使用して遅延や精度の予算の下で構成を選択する。 設定をバイト認識と感度のみのアロケーションと比較する。

関連論文リスト

• Context-Aware Precision Scheduling for Small Language Models [3.6940301462288185]
  デバイス上のエージェントとして使用される小さな言語モデル(SLM)は、コンテキストが大きくなるにつれて正確性とレイテンシのバランスをとる必要がある。 混合精度は、その大きさと感度に応じて異なる精度を重みテンソルに割り当てることで、このトレードオフを管理するのに役立つ。 我々は、異なる精度とコンテキスト長の測定からタイミングモデルを組み合わせて、レイテンシや精度の予算の下で構成を選択する。
  論文  参考訳（メタデータ） (2026-10-11T14:16:06Z)
• Faster Block-Diffusion Serving with Distribution-Free Risk Guarantees [30.747201523049792]
  ブロック拡散言語モデルは手書きの操作ポイントで提供される。 Mean氏は、より高速な設定が失敗する頻度をオペレータに伝えていないので、遅くなると正しく答える。 Redlineは、キャリブレーションプロンプトの回答の正しさから、手書きまたは学習した操作ポイントを選択する。
  論文  参考訳（メタデータ） (2026-09-27T20:05:07Z)
• A Layer Importance Metric for Quantization Accounting for the Speed-Quality Trade-off in Autoregressive Models [0.0]
  小型言語モデル(sLLM)は、メモリと計算予算に制限のあるデバイスにホストされている。 本稿では,情報保持(正規化SQNR係数で測る)とスループットゲインを組み合わせた複合メトリックを提案する。
  論文  参考訳（メタデータ） (2026-08-27T10:23:01Z)
• Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
  我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。 CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
  論文  参考訳（メタデータ） (2025-08-17T20:16:44Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Nearly Lossless Adaptive Bit Switching [8.485009775430411]
  ImageNet-1K分類の実験結果から,本手法は多精度・混合精度の両面において,最先端のワンショットジョイントQATに十分な利点があることが示された。
  論文  参考訳（メタデータ） (2025-02-03T09:46:26Z)
• Value-Driven Mixed-Precision Quantization for Patch-Based Inference on Microcontrollers [35.666772630923234]
  QuantMCUは、値駆動型混合精度量子化を利用して冗長計算を減らす、パッチベースの新しい推論手法である。 我々は,QuantMCUが平均2.2倍の計算量を削減できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T04:21:41Z)
• How Low Can We Go: Trading Memory for Error in Low-Precision Training [52.94003953419242]
  低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。 私たちは貯金の代償を支払っている: 精度の低い方がラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。 私たちはメタラーニングのアイデアを借りて、メモリとエラーのトレードオフを学びます。
  論文  参考訳（メタデータ） (2021-06-17T17:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。