論文の概要: Pushing CPU Speech Synthesis to the Wall: Extreme Inference Tuning under Serverless Architecture and Billing

• arxiv url: http://arxiv.org/abs/2610.00063v1
• Date: Fri, 04 Sep 2026 09:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.338352
• Title: Pushing CPU Speech Synthesis to the Wall: Extreme Inference Tuning under Serverless Architecture and Billing
• Title（参考訳）: CPU音声合成を壁にプッシュする - サーバーレスアーキテクチャと課金下での極端推論チューニング
• Abstract要約: インスタンスビルドのサーバレスプラットフォームは、ウォームインスタンスの生涯にわたってCPUとメモリを課金し、アイドル推論状態を直接的なサービスコストにする。 我々は、スループットやレイテンシのみではなく、CPU秒とGB秒を最適化して、サーバーレスCPU上で課金対応のニューラルテキスト音声(TTS)を提供する。 これらのコストには、リクエスト単位のCPUバウンドであるリクエストサイズの同時推論と、再利用可能なインスタンスライフサイクルが対処します。
• 参考スコア（独自算出の注目度）: 3.270888823193624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instance-billed serverless platforms charge for CPU and memory over the lifetime of a warm instance, making idle inference state a direct serving cost. We present billing-aware neural text-to-speech (TTS) serving on serverless CPUs, optimizing CPU-seconds and GB-seconds rather than throughput or latency alone. Conventional runtimes are poorly suited to this setting: per-request parallelism causes CPU contention under concurrency, while warm instances retain gigabytes of billable inference and page-cache state. We address these costs with request-sized concurrent inference, which bounds per-request CPU parallelism, and a reclaimable instance lifecycle, which releases inference state and page-cache memory after idle periods while retaining the server process and compile cache. On Kokoro-82M, our system achieves 2.71 audio-seconds per CPU-second versus 0.89 with ONNX Runtime defaults and reduces cost per audio-hour from $0.0631 with PyTorch to $0.0153, a 4.1x reduction. Idle billed memory falls from 8.7 GB to 1.33 GB, while restoration reaches first audio in 2.2 s versus 7.7 s for a PyTorch cold start. Under bursty traffic, lifecycle reclamation is essential for translating inference efficiency into lower serverless cost.
• Abstract（参考訳）: インスタンスビルドのサーバレスプラットフォームは、ウォームインスタンスの生涯にわたってCPUとメモリを課金し、アイドル推論状態を直接的なサービスコストにする。 我々は、スループットやレイテンシのみではなく、CPU秒とGB秒を最適化して、サーバーレスCPU上で課金対応のニューラルテキスト音声(TTS)を提供する。 要求ごとの並列処理は並列処理においてCPU競合を引き起こし、一方ウォームインスタンスはギガバイト単位の請求可能な推論とページキャッシュ状態を保持する。 これらのコストは、要求毎のCPU並列処理をバウンドするリクエストサイズの同時推論と、アイドル状態の後に推論状態とページキャッシュメモリを解放し、サーバプロセスを保持し、キャッシュをコンパイルする再生可能なインスタンスライフサイクルに対処する。 Kokoro-82Mでは、ONNX RuntimeのデフォルトでCPU秒当たり2.71オーディオ秒を実現し、PyTorchで0.0631ドルから0.0153ドルに削減し、4.1倍の削減を実現した。 アイドル課金メモリは8.7GBから1.33GBに低下し、復元はPyTorchのコールドスタートで2.2sと7.7sで最初のオーディオに達する。 バーストトラフィックの下では、推論効率を低いサーバーレスコストに変換するためには、ライフサイクルの再利用が不可欠である。

関連論文リスト

• DuplexCadence: Exact State and Execution from a Speech Model's Declared Timelines [8.623569542447594]
  フル音声モデルはストリーミングインタラクションをサポートし、同時に聞き取り、話す。 本稿では、ネイティブクロックを明示的に宣言し、2つのルールを相互に有効化するDuplexCadenceを提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:16:39Z)
• Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs [0.22940141855172033]
  py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。 80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。 GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
  論文  参考訳（メタデータ） (2026-09-10T16:00:35Z)
• VibeVoice-ASR-BitNet Technical Report [86.93881874028209]
  VibeVoice-ASR-BitNetは、エッジCPU上のリアルタイム推論に最適化されたVibeVoice-ASRの圧縮版である。 攻撃的圧縮下での精度を維持するために,プログレッシブ量子化対応トレーニング戦略を実装した。 VibeVoice-ASR-BitNetはWhisperより1.6-2.3倍速い。
  論文  参考訳（メタデータ） (2026-07-23T09:08:04Z)
• Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC [1.1476836276366738]
  大規模言語モデル(LLM)推論は、急速にコアデータセンターサービスになりつつある。 現在のサービススタックは、オーケストレーションとトークンレベルの制御において、ホストがクリティカルパスを維持している。 我々は、ホストCPUを定常状態の推論パスから取り除くエンドツーエンドのサービスアーキテクチャであるBlinkを紹介した。
  論文  参考訳（メタデータ） (2026-04-08T21:27:47Z)
• Adaptive Execution Scheduler for DataDios SmartDiff [0.0]
  2つの実行モードを持つ1つの差分エンジン(SmartDiff)に対する適応型スケジューラを提案する。 スケジューラは、CPUとメモリの固定予算内でバッチサイズとワーカー/スレッド数を調整し、p95レイテンシを最小限にする。 合成と公開のベンチマークで、スケジューラは、調整したウォームアップに比べて、p95のレイテンシを23～28%削減する。
  論文  参考訳（メタデータ） (2025-10-09T05:40:16Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• Packrat: Automatic Reconfiguration for Latency Minimization in CPU-based DNN Serving [7.235743206838218]
  Packratは、最適なインスタンス数をアルゴリズムで選択する、オンライン推論のための新しいサービスシステムである。 Packratは、バッチサイズの範囲で平均化され、一般的に使用されるDNNの範囲で、推論遅延を1.43$times$から1.83$times$に改善する。
  論文  参考訳（メタデータ） (2023-11-30T01:36:46Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。