論文の概要: Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon

• arxiv url: http://arxiv.org/abs/2610.31479v1
• Date: Thu, 22 Oct 2026 16:04:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.470304
• Title: Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon
• Title（参考訳）: Apple Silicon における LLM 推論最適化の適用性評価
• Abstract要約: KVキャッシュプルーニング、投機的復号化、GPUカーネルの移植、後学習量子化の4つの最適化ファミリを評価した。 4つのファミリーにまたがって、報告されたスピードアップは技術だけでなく、技術、ハードウェア契約、ワークロードレシエーションのジョイント機能である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Apple Silicon is among the most widely used platforms for local LLM inference, yet nearly all inference optimizations are designed and validated on server-class NVIDIA GPUs under batched serving workloads. Which optimizations retain their benefits when moved to Apple Silicon, and what determines their applicability? We evaluate four optimization families: KV-cache pruning, speculative decoding, ported GPU kernels, and post-training quantization. Experiments span four Apple machines under a common single-request decode workload, with matched RTX 4090 comparisons where possible. KV-cache pruning can reach up to 1.75 times end-to-end throughput on Apple but can reduce throughput on desktop NVIDIA GPUs. Under the common benchmark, all evaluated speculative decoding methods reduce throughput on Apple, despite reported 2-6 times gains on server GPUs. CUDA kernel designs transfer only partially: public Metal lacks asynchronous copy, and batch-one decode makes several serving-oriented mechanisms inapplicable, although transferable components yield up to 1.20 times decode throughput. Quantization gains vary by machine. Across four families, a reported speedup is not a portable property of a technique alone but a joint function of technique, runtime, hardware contract, and workload regime.
• Abstract（参考訳）: Apple Siliconは、ローカルLLM推論の最も広く使われているプラットフォームのひとつだが、ほとんどすべての推論最適化は、バッチ処理されたサービスワークロードの下で、サーバークラスのNVIDIA GPUで設計され、検証されている。 Apple Siliconに移行した際、どのような最適化がメリットを保ち、その適用性を決定するのか? KVキャッシュプルーニング、投機的復号化、GPUカーネルの移植、後学習量子化の4つの最適化ファミリを評価した。 実験は4台のAppleマシンに共通する単一要求のデコードワークロードで行われ、RTX 4090と比較できる。 KV-cacheプルーニングはAppleのエンドツーエンドのスループットの最大1.75倍に達するが、デスクトップNVIDIA GPUのスループットを削減できる。 一般的なベンチマークでは、すべての評価された投機的復号化手法は、サーバGPUの2-6倍の上昇が報告されているにもかかわらず、Appleのスループットを低下させる。 CUDAカーネルの設計は部分的にのみ転送される: public Metalは非同期コピーを欠き、バッチ1デコードはいくつかのサービス指向のメカニズムを適用できないが、転送可能なコンポーネントは最大1.20倍のデコードスループットをもたらす。 量子化の利得は機械によって異なる。 4つのファミリーにまたがって、報告されたスピードアップは技術だけでなく、技術、ランタイム、ハードウェア契約、ワークロードレギュレーションのジョイント機能である。

関連論文リスト

• Spexis: Speculative Lookahead Scheduling for LLM Inference [6.6027346944792304]
  Spexisは通常の実行と並行して推測を実行する。 無駄な憶測、KV-cacheの排除、再計算の削減。 投機品質と将来のメモリプレッシャーを予測するために、ルックアヘッドスケジューリングを使用する。
  論文  参考訳（メタデータ） (2026-09-28T05:46:02Z)
• Meganeura: Portable GPU Training and Inference through Vulkan and Metal [0.0]
  Meganeura氏は、ひとつのコンパクトなネイティブコンパイラが、コンシューマGPU上の両方のフェーズにまたがることができるかどうかを尋ねている。 NVIDIAとAMDの離散GPUで、マッチした5つのワークロードとPyTorchを比較した。 その結果,一般消費者のグラフィクスAPIは,コンパクトな共有トレイン・ツー・デプロイスタックを,時としてベンダ・コンペティティブなパフォーマンスでサポートできることが示唆された。
  論文  参考訳（メタデータ） (2026-08-03T00:42:55Z)
• FusionML: Prefill, Not Decode - Mechanism and Boundaries of CPU+GPU Co-Execution on Unified-Memory Apple Silicon [0.0]
  私たち自身を含む以前の試みは、失敗に終わり、あるいは正確で確立された勝利を生み出しました。 MLXの遅延グラフスケジューラは、クロスストリーム作業を行う CPU ストリーム操作が1つの評価グラフ内で非マテリアル化された GPU 結果を消費する場合、行分割行列は、物質化された入力で x1.38 を高速に実行する。 デコードでは利益が得られず、共有帯域幅によるバウンドは追加されない。
  論文  参考訳（メタデータ） (2026-07-24T11:42:17Z)
• Are LLM-Generated GPU Kernels Production-Ready? A Trace-Driven Benchmark and Optimization Agent [10.241408048987038]
  既存のGPUカーネル生成ベンチマークは、デプロイされたワークロードから分岐する合成またはキュレートされたソースから問題を引き出す。 Atrex-Benchは、30の演算子と440の形状が、計算限定のメモリリッチGPUのフルクラスタ生産推定トレースから直接サンプリングされるベンチマークである。
  論文  参考訳（メタデータ） (2026-07-16T03:49:50Z)
• GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs [5.25288153386589]
  大規模な言語モデル手法では、カーネルのコンパイルと実行を安価にチューニングできると仮定する。 完全なアプリケーションを構築することなくカーネルを最適化する性能フィードバックを備えたエンドツーエンドのLLMフレームワークを提案する。 このフレームワークは自動エラー修正とパフォーマンスパターン継承を統合し、欠陥を修正し、正確性を保ち、効果的なタイリング/メモリ/同期戦略を再利用し、検索コストを削減する。
  論文  参考訳（メタデータ） (2025-12-15T07:20:15Z)
• Minute-Long Videos with Dual Parallelisms [57.22737565366549]
  Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。 我々はDualParalと呼ばれる新しい分散推論戦略を提案する。 1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
  論文  参考訳（メタデータ） (2025-05-27T11:55:22Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU [89.2451963569343]
  FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。 1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。 HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-03-13T05:19:28Z)
• PLSSVM: A (multi-)GPGPU-accelerated Least Squares Support Vector Machine [68.8204255655161]
  Support Vector Machines (SVM) は機械学習で広く使われている。 しかし、現代的で最適化された実装でさえ、最先端ハードウェア上の大きな非自明な高密度データセットにはうまくスケールしない。 PLSSVMはLVMのドロップイン代替として使用できる。
  論文  参考訳（メタデータ） (2022-02-25T13:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。