論文の概要: Non-Monotonic Latency in Apple MPS Decoding: KV Cache Interactions and Execution Regimes

• arxiv url: http://arxiv.org/abs/2605.08913v2
• Date: Thu, 14 May 2026 11:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 15:19:49.860805
• Title: Non-Monotonic Latency in Apple MPS Decoding: KV Cache Interactions and Execution Regimes
• Title（参考訳）: Apple MPSデコードにおける非単調レイテンシ:KVキャッシュインタラクションと実行レジーム
• Authors: Willy Fitra Hendria,
• Abstract要約: 我々は,Apple MPSバックエンドにおける予期せぬ非単調遅延挙動を同定した。 特定のデコード-予算間隔で最大21倍のレイテンシのスパイクを観測し、次いで隣接する構成でのリカバリを行った。 これらの結果から,MPSの自己回帰復号化は,粗粒度ベンチマークでは得られない離散的な実行機構に入ることが示唆された。
• 参考スコア（独自算出の注目度）: 0.023074632109535153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive inference is typically assumed to scale predictably with decoding length, with latency increasing smoothly as generated sequence length grows. In this work, we identify unexpected non-monotonic latency behavior in the Apple MPS backend, where latency changes abruptly across nearby decoding configurations during transformer decoding. Using multiple model families (GPT-2, BLOOM, and OPT), we observe latency spikes of up to 21x within specific decoding-budget intervals, followed by recovery at neighboring configurations. Controlled experiments show that these anomalies originate primarily during the decode phase rather than prefill, are not explained by memory pressure alone, and remain absent on CPU and NVIDIA CUDA backends under identical conditions. We further show that key-value (KV) cache interacts strongly with these pathological execution regimes: KV caching remains beneficial overall, but its practical speedup collapses sharply within anomalous configurations, while cache-disabled decoding still exhibits residual non-monotonic behavior. These findings suggest that autoregressive decoding on MPS enters discrete execution regimes that are not captured by coarse-grained benchmarking, highlighting the importance of hardware-aware evaluation for long-context inference.
• Abstract（参考訳）: 自己回帰推論は典型的にはデコード長で予測可能であり、生成シーケンス長が増加するにつれて遅延は滑らかに増加する。 本研究では,Apple MPSバックエンドにおける予期せぬ非単調遅延挙動を同定する。 複数のモデルファミリ (GPT-2, BLOOM, OPT) を用いて, 特定のデコード-予算間隔で最大21倍の遅延スパイクを観測し, 次いで隣接する構成で回復する。 制御された実験により、これらの異常は主にプリフィルではなくデコードフェーズで発生し、メモリ圧力だけでは説明されず、同じ条件下でCPUやNVIDIA CUDAバックエンドに存在しないことが示されている。 KVキャッシュは全体として有益であるが、その実用的なスピードアップは異常な構成内で急激に崩壊する一方、キャッシュを無効としたデコーディングは依然として非単調な動作を示す。 これらの結果から,MPSの自己回帰復号化は,粗粒度ベンチマークでは捉えられない離散的な実行機構に入り,長文推論におけるハードウェア認識評価の重要性が示唆された。

関連論文リスト

• Taming Asynchronous CPU-GPU Coupling for Frequency-aware Latency Estimation on Mobile Edge [5.2773045718276705]
  周波数の組み合わせ間での推測遅延を正確に推定するためにFLAMEを導入する。 重なり合う並列性を定量化し、動的パイプラインバブルを集約する、新しいレイヤワイズ・モデリングが特徴である。 FLAMEの正確なモデリングにより、サンプルの粗いサブセットをプロファイリングし、数時間から数分でプロファイリングを切断し、SLMプロファイリングを数日からほんの数分で行うことができる。
  論文  参考訳（メタデータ） (2026-04-11T12:26:06Z)
• TIDAL: Temporally Interleaved Diffusion and Action Loop for High-Frequency VLA Control [15.534182843429043]
  大規模なVision-Language-Action(VLA)モデルはセマンティックな一般化を提供するが、高い推論遅延に悩まされる。 本稿では,高頻度動作から意味論的推論を分離する階層型フレームワークであるTIDALを提案する。 TIDALは、二重周波数アーキテクチャを用いて拡散ベースのVLAのためのバックボーンに依存しないモジュールとして動作する。
  論文  参考訳（メタデータ） (2026-01-21T12:43:11Z)
• InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation [56.694702609077495]
  ロングシーケンス処理は、現代の大規模言語モデルにとって重要な機能である。 InfLLM-V2は、ショートシーケンスからロングシーケンスまでのモデルをシームレスに適応する訓練可能なスパースアテンションフレームワークである。 実験では、InfLLM-V2は高密度の注意より4$times$速いが、98.1%と99.7%のパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-09-29T12:08:33Z)
• PipeInfer: Accelerating LLM Inference using Asynchronous Pipelined Speculation [9.080650575731152]
  PipeInferは、パイプライン化された投機的アクセラレーション技術で、トークン間のレイテンシを低減し、単一要求シナリオにおけるシステム利用を改善する。 PipeInferは、標準的な投機的推論よりも生成速度が2.15$times$改善されている。
  論文  参考訳（メタデータ） (2024-07-16T14:52:02Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
  Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。 提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
  論文  参考訳（メタデータ） (2024-03-13T16:30:57Z)
• Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR [67.63332492134332]
  我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。 提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
  論文  参考訳（メタデータ） (2023-03-31T23:30:48Z)
• Towards Streaming Perception [70.68520310095155]
  本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。 この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。 本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
  論文  参考訳（メタデータ） (2020-05-21T01:51:35Z)
• Minimum Latency Training Strategies for Streaming Sequence-to-Sequence ASR [44.229256049718316]
  線形時間復号複雑性を伴うオンライン音声認識を実現するために,ストリームアテンションに基づくシーケンス・ツー・シーケンス(S2S)モデルが提案されている。 これらのモデルでは、一方向エンコーダには将来的な情報がないため、実際の音響境界よりもトークンを生成する決定が遅れる。 本稿では,ハイブリッドモデルから抽出した外部ハードアライメントを活用することで,トレーニング中のいくつかの戦略を提案する。 Cortana音声検索タスクの実験により,提案手法は遅延を著しく低減し,デコーダ側の特定の場合の認識精度も向上することを示した。
  論文  参考訳（メタデータ） (2020-04-10T12:24:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。