論文の概要: BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators

• arxiv url: http://arxiv.org/abs/2607.19438v1
• Date: Tue, 21 Jul 2026 06:42:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.892321
• Title: BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators
• Title（参考訳）: BaseRT: Apple M5 Neural AcceleratorによるクラスLLM推論の改善
• Abstract要約: BaseRTはApple Silicon上の大規模言語モデルに対してMetal推論を利用することを示す。 Apple M5 Proでは、BaseRTはラマよりも最大6.4倍高いプロンプト処理スループットを提供する。 M5のテンソルコアがアップルシリコンのプロンプト処理における決定的なレバーであることは明らかです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Apple's M5 generation introduces a redesigned GPU architecture in which every core carries a dedicated Neural Accelerator: on-die matrix units exposed through the Metal~4 tensor API. We show that BaseRT, our native Metal inference runtime for large language models on Apple Silicon, exploits these units to push inference throughput on Apple hardware substantially beyond both llama.cpp and MLX. Building on BaseRT's framework-free design, we add a family of hand-written Metal~4 tensor-core kernels (including dense and mixture-of-experts GEMM and flash-attention prefill kernels) that route the compute-bound matrix multiplications of inference through the M5 Neural Accelerators while leaving the memory-bound decode path on our existing specialised kernels. On an Apple M5 Pro, across fifteen model configurations spanning the Qwen3, Qwen3.5/3.6, Llama~3.2, and Gemma~4 families from sub-1B to 35B parameters, BaseRT delivers up to $6.4\times$ higher prompt-processing throughput than llama.cpp and $3.9\times$ higher than MLX, with the largest margins on the mixture-of-experts models where matrix multiplication dominates, while maintaining its lead on decode of up to $1.75\times$ over llama.cpp and $1.33\times$ over MLX. These results establish a new performance ceiling for on-device LLM inference and show that the M5's tensor cores are the decisive lever for prompt processing on Apple Silicon. BaseRT is publicly available at https://github.com/basecompute/baseRT.
• Abstract（参考訳）: AppleのM5世代は再設計されたGPUアーキテクチャを導入し、すべてのコアが専用のNeural Accelerator(Metal~4 Tenor APIを通じて公開されているオンデマンドマトリクスユニット)を搭載している。 私たちは、Apple Silicon上の大規模言語モデルのためのネイティブなMetal推論ランタイムであるBaseRTが、これらのユニットを利用して、Appleハードウェアの推論スループットをllama.cppとMLXをはるかに越えていることを示しています。 BaseRTのフレームワークフリー設計に基づいて、M5 Neural Acceleratorを介して推論の計算バウンド行列乗算をルーティングし、メモリバウンドデコードパスを既存の特殊カーネルに残しながら、手書きのMetal~4のテンソルコアカーネル群(GEMMとフラッシュアテンションプリフィルカーネルを含む)を追加します。 Apple M5 Proでは、Qwen3、Qwen3.5/3.6、Llama~3.2、Gemma~4のサブ-1Bから35Bパラメータにまたがる15モデル構成で、BaseRTは、llama.cppよりも最大6.4\times$のプロンプト処理スループットと3.9\times$のMLXよりも高い3.9\times$のMLXを提供する。 これらの結果から,M5 のテンソルコアが Apple Silicon 上でのプロンプト処理における決定的なレバーであることを示す。 BaseRTはhttps://github.com/basecompute/baseRTで公開されている。

関連論文リスト

• BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal [0.0]
  BaseRTはAppleの大規模言語モデル(LLM)のためのネイティブなMetalランタイムです。 このハードウェアの最も高い推論スループットを報告します。
  論文  参考訳（メタデータ） (2026-07-01T06:37:11Z)
• Rigel: Reverse-Engineering the Metal 4.1 Tensor Compute Path on the Apple M4 Max GPU [3.151184728006369]
  我々は、Apple M4 Maxのこのパスを実証的に特徴づけるRigelを紹介します。 私たちは不透明な8x8コラボレーティブ_tensorのフラグメントレイアウトを再構築します。 キャラクタリゼーションにより、GEMM + bias + GELUカーネルはキャッシュ抵抗状態において分解されたパスを+6.5-12.9%上回る。
  論文  参考訳（メタデータ） (2026-06-11T00:10:23Z)
• AgentCompile: An LLM-Guided Compiler for Direct CUDA Inference [58.285369364699]
  本稿では,LDM出力をアドバイザリ検索メタデータとしてのみ使用するLDM誘導型推論コンパイラであるAgentCompileを提案する。 コンパイラ由来の領域要約と境界付き候補空間が与えられた後、LLMはセマンティックラベル、候補優先順位、パラメータヒント、リスクアノテーションを提案する。 AgentCompileは、グラフテンプレートを通じて候補を実体化し、インターフェースとハードウェアの制約をチェックし、試験的に候補を検証する。 エンドツーエンドの自動回帰生成では、AgentCompileはQwen3-1.7B上のPyTorch上で平均5.66x、4.05x、4.26xのスピードアップを行う。
  論文  参考訳（メタデータ） (2026-06-04T03:49:56Z)
• Metal-Sci: A Scientific Compute Benchmark for Evolutionary LLM Kernel Search on Apple Silicon [6.599344783327054]
  Metal-SciはApple Silicon Metal計算カーネルの10タスクベンチマークである。 各タスクはCPU参照、ルーフラインアンコールされたフィットネス機能、および保持可能な一般化サイズを出荷する。 We reported matched single-model sweeps of Claude Opus 4.7, Gemini 3.1 Pro, GPT 5.5 on M1 Pro。
  論文  参考訳（メタデータ） (2026-05-10T19:11:26Z)
• mlx-snn: Spiking Neural Networks on Apple Silicon via MLX [1.1597621848542221]
  AppleのMLXフレームワーク上に構築された最初のスパイクニューラルネットワーク(SNN)ライブラリであるmlx-snnを紹介する。 mlx-snnは6つのニューロンモデル、4つの代理勾配関数、4つのスパイク符号化方法、完全なバックプロパゲーション・スルータイムトレーニングパイプラインを提供する。 mlx-snnはMITライセンス下でオープンソースで、PyPIで利用可能である。
  論文  参考訳（メタデータ） (2026-03-03T21:25:36Z)
• Production-Grade Local LLM Inference on Apple Silicon: A Comparative Study of MLX, MLC-LLM, Ollama, llama.cpp, and PyTorch MPS [0.08030359871216612]
  我々は,Apple Silicon 上で 5 つの局所的大規模言語モデル (LLM) の体系的,実証的な評価を行う。 MLX, MLC-LLM, llama, Ollama, PyTorch MPSを試験した。
  論文  参考訳（メタデータ） (2025-10-09T23:53:38Z)
• Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
  AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
  論文  参考訳（メタデータ） (2025-02-12T06:05:52Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Recurrent Drafter for Fast Speculative Decoding in Large Language Models [18.342742904042673]
  本稿では,高度な投機的復号法であるRecurrent Drafterを提案する。 大規模言語モデル(LLM)推論の最先端の高速化を実現する。
  論文  参考訳（メタデータ） (2024-03-14T23:40:56Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Hybrid Models for Learning to Branch [81.93868699246214]
  我々はCPUマシン上で効率的な分岐を行うための新しいハイブリッドアーキテクチャを提案する。 提案アーキテクチャは,GNNの表現力と分岐処理のための計算コストの低い多層パーセプトロン(MLP)を組み合わせる。
  論文  参考訳（メタデータ） (2020-06-26T21:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。