論文の概要: BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

• arxiv url: http://arxiv.org/abs/2607.00501v1
• Date: Wed, 01 Jul 2026 06:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.757299
• Title: BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal
• Title（参考訳）: BaseRT: ネイティブメタルによるApple SiliconのLLM推論
• Abstract要約: BaseRTはAppleの大規模言語モデル(LLM)のためのネイティブなMetalランタイムです。 このハードウェアの最も高い推論スループットを報告します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present BaseRT, a native Metal inference runtime for large language models (LLMs) on Apple Silicon, and report the highest inference throughput on this hardware to date. Existing runtimes, including llama.cpp and MLX-based frameworks, incur overhead from abstractions not designed for Metal's execution model or Apple Silicon's unified memory topology. By building natively on Metal with chip-specific kernel fusion, unified memory-aware optimisation, and custom dispatch logic, BaseRT recovers performance that framework-based approaches leave on the table. BaseRT supports a wide range of model families across eight quantisation formats (Q2 to FP16) on all Apple M-series devices. In this paper, we evaluate the Qwen3, Llama 3.2, and Gemma 4 families at Q4 and Q8 quantisation on M3 and M4 Pro devices. BaseRT achieves up to 1.56x higher decode throughput than llama.cpp and up to 1.35x higher than MLX, with substantially larger margins on prefill for mixture-of-experts models, delivering consistent best-in-class throughput from sub-1B to 30B parameter models. These results establish Apple Silicon as a more capable inference platform than previously reported, with direct implications for the emerging edge inference paradigm: as privacy requirements, latency constraints, and cloud cost pressures drive inference toward on-device deployment, performance-optimised local runtimes are a critical enabling layer for this transition. BaseRT is publicly available at https://github.com/basecompute/baseRT
• Abstract（参考訳）: 私たちはApple Silicon上で大規模言語モデル(LLM)のためのネイティブなMetal推論ランタイムであるBaseRTを紹介し、このハードウェア上で最も高い推論スループットを報告します。 llama.cppやMLXベースのフレームワークを含む既存のランタイムは、Metalの実行モデルやApple Siliconの統一メモリトポロジ用に設計されていない抽象化からオーバーヘッドを発生させる。 チップ固有のカーネル融合、メモリ認識の最適化、カスタムディスパッチロジックでMetalをネイティブに構築することで、BaseRTはフレームワークベースのアプローチがテーブルに残したパフォーマンスを回復する。 BaseRTは8つの量子化フォーマット(Q2からFP16)のモデルファミリを、すべてのApple Mシリーズデバイスでサポートする。 本稿では,M3およびM4 Proデバイス上でのQ4およびQ8量子化におけるQwen3,Llama 3.2,Gemma 4ファミリーの評価を行う。 BaseRT は llama.cpp よりも 1.56 倍高いデコードスループットを実現し、MLX より 1.35 倍も高い。 プライバシ要件、レイテンシの制約、クラウドコストのプレッシャーによって、デバイス上のデプロイメントへの推論が促進されるため、パフォーマンス最適化されたローカルランタイムは、この移行にとって重要な有効レイヤとなります。 BaseRTはhttps://github.com/basecompute/baseRTで公開されている。

関連論文リスト

• Opt.Gear Technical Report [3.573729952898132]
  OptGearは、デバイス上での効率的なデプロイメント、リアルタイム推論、強力なタスク能力のために設計された基盤モデルである。 密度モデル(1M、270M、1B)で、コンテキスト長は64Kである。 OptGear-1MはARM Cortex-M7 CPU上でW4A32量子化で20TPSを達成した最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2026-08-02T06:43:25Z)
• BaseRT: Advancing Best-in-Class LLM Inference with Apple M5 Neural Accelerators [0.0]
  BaseRTはApple Silicon上の大規模言語モデルに対してMetal推論を利用することを示す。 Apple M5 Proでは、BaseRTはラマよりも最大6.4倍高いプロンプト処理スループットを提供する。 M5のテンソルコアがアップルシリコンのプロンプト処理における決定的なレバーであることは明らかです。
  論文  参考訳（メタデータ） (2026-07-21T06:42:18Z)
• StereoFactory: A Unified Merging Framework for Robust Stereo Matching [61.973843344605655]
  ステレオマッチングは、大規模なデータセットでトレーニングされた基礎モデルを通じて進歩しているが、このパラダイムはスケーラビリティのボトルネックに悩まされている。 モデルマージは、ソースチェックポイントが利用可能になった後、特別なモデルからの知識を統合することで、スケーラブルなポストホックな代替手段を提供する。 本稿では,適応モデルマージのための粗大な進化的フレームワークであるStereoFactoryを提案する。
  論文  参考訳（メタデータ） (2026-06-16T03:36:59Z)
• Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference [0.0]
  Mamba-2のステートスペース双対性アルゴリズムは、XLAの融合とタイリングが実際に最適化したものにきれいにマッピングする。 我々は,XLA の標準プリミティブとして,完全な推論パス (プリフィル,キャッシュされた自己回帰復号化) を実装した。 この実装は、単一のJAXソースからCPU、NVIDIA GPU、Google Cloud TPUで無修正で実行される。
  論文  参考訳（メタデータ） (2026-03-10T12:03:00Z)
• Native LLM and MLLM Inference at Scale on Apple Silicon [0.8122270502556375]
  MLX をネイティブに構築した Apple Silicon 上で,効率的な LLM と MLLM 推論のためのフレームワーク vllm-mlx を提案する。 テキストモデルでは、Qwen3-0.6BからNemotron-30Bまでの範囲で、ラマよりも21%から87%高いスループットを達成する。 マルチモーダルモデルでは,入力形式によらず,同一画像をコンテンツハッシュで識別することで,冗長な視覚符号化を不要とするコンテンツベースキャッシングを導入する。
  論文  参考訳（メタデータ） (2026-01-27T03:11:02Z)
• Production-Grade Local LLM Inference on Apple Silicon: A Comparative Study of MLX, MLC-LLM, Ollama, llama.cpp, and PyTorch MPS [0.08030359871216612]
  我々は,Apple Silicon 上で 5 つの局所的大規模言語モデル (LLM) の体系的,実証的な評価を行う。 MLX, MLC-LLM, llama, Ollama, PyTorch MPSを試験した。
  論文  参考訳（メタデータ） (2025-10-09T23:53:38Z)
• dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
  拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。 本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
  論文  参考訳（メタデータ） (2025-10-09T16:19:42Z)
• Prima.cpp: Fast 30-70B LLM Inference on Heterogeneous and Low-Resource Home Clusters [43.52299612686755]
  オンデバイス推論は、プライバシ、オフライン使用、即時応答を提供するが、コンシューマハードウェアは、大きな言語モデル(LLM)を低スループットと能力に制限する。 本稿では,CPU/GPUの混在,RAM/VRAMの不足,ディスクの遅い,Wi-Fiリンク,異種OSを備えた家電クラスタ上で30～70B LLMを動作させる分散オンデバイス推論システムprime.を提案する。 計算・通信とディスクI/Oの重なり合うようにパイプラインリング並列化(PRP)を導入し,mapベースのオフロードにおけるプレフェッチ・リリース競合に対処する。
  論文  参考訳（メタデータ） (2025-04-07T13:46:21Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• FlexLLM: Token-Level Co-Serving of LLM Inference and Finetuning with SLO Guarantees [19.58773369944074]
  タスク適応には、大規模な言語モデル(LLM)の微調整が不可欠だが、今日のサービススタックは、推論と個別のGPUクラスタ上での微調整を分離している。 本稿では,LLM推論とPEFTに基づく共通GPUのファインタニングをトークンレベルで融合した最初のシステムであるFlexLLMを紹介する。 実行時に、新しいトークンレベルの微調整機構がハイブリッドトークンスケジューラと組み合わせて、共用イテレーション毎に推論とトレーニングトークンを動的にインターリーブする。
  論文  参考訳（メタデータ） (2024-02-29T01:33:08Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。