論文の概要: What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine

• arxiv url: http://arxiv.org/abs/2608.22110v1
• Date: Sat, 22 Aug 2026 21:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.61376
• Title: What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine
• Title（参考訳）: Apple Neural Engineの言語モデル配置とデコード速度の測定結果
• Abstract要約: 一致したモデルのサイズと精度をトレーニングし、量子化されたチェックポイントを、fp16のモデルに比例した構造で識別する。 私たちは推論中にANEのメモリコントローラのバイトカウンタを読み、コンパイラが意図したものではなく実際に実行するものを確立しました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We ask what gets a language model onto the Apple Neural Engine (ANE) and what makes it fast there, and we answer with three measurements. We sweep a 64-shape matrix of LLM primitives that varies how a computation is expressed while holding what it computes fixed, recording per-operation device support. We then train matched models across size and precision, with quantized checkpoints byte-identical in structure to their fp16 counterparts, so every deployment measurement is of a real trained artifact. And we read the ANE's memory-controller byte counters during inference, establishing what actually ran rather than what the compiler intended. We support every headline claim with at least two of these three measurement paths. We find that placement is a property of how a computation is expressed, not of what it computes: a fused RMSNorm is fully ANE-eligible while its arithmetically identical decomposition is CPU-only. Weight encoding gates the accelerator: CoreML assigns a 25.85M-parameter conv-heavy fp16 model entirely to the CPU (our counters confirm zero bytes through the engine), while the same graph in int8 or 2-bit returns to ~83% residency and runs 1.8-2.2x faster, and a smaller 22.29M all-attention fp16 model sits at 98.9%. Decode cost is bytes streamed per token, at a constant ~0.77 fraction of nominal encoding width across fp16, int8 and 2-bit. The smallest and fastest models we measured are ternary, and at matched size the operator mix barely moves either axis: every resident 25M ternary model lands within 10.0-10.8 MB and 0.62-0.64 ms/token. The headline pair is half-attention ternary at 25M (10.5 MB, 0.63 ms) and 50M (16.8 MB, 0.86 ms) - 9.8x and 6.1x smaller, 3.0x and 2.2x faster than the conv-heavy fp16 design this work began with. From these measurements we draw a design procedure: choose the encoding first, then spend the byte budget on parameters.
• Abstract（参考訳）: 言語モデルがApple Neural Engine(ANE)に何をもたらすのか、何が速くなるのかを問うとともに、3つの測定値で答える。 LLMプリミティブの64種類の行列を網羅し、その計算値を保持しながら計算方法を変える。 次に、マッチしたモデルをサイズと精度でトレーニングし、構造上の量子化されたチェックポイントをfp16と比較します。 そして、推論中にANEのメモリコントローラのバイトカウンタを読み、コンパイラが意図したものではなく実際に実行するものを確立しました。 我々はこれらの3つの測定経路のうちの少なくとも2つですべてのヘッドラインクレームをサポートします。 融合 RMSNorm は完全に ANE-Eligible であり、算術的に同一の分解は CPU のみである。 CoreMLは25.85Mパラメータのconv-heavy fp16モデルを完全にCPUに割り当て(当社のカウンタはエンジンを通してゼロバイトを確認する)、int8または2ビットの同じグラフは83%の常駐で1.8-2.2倍高速で動作し、22.29Mの全アテンションfp16モデルは98.9%である。 デコードコストはトークンごとにバイトストリームされ、fp16, int8, 2-bit にまたがる名目エンコード幅の定数 ~0.77 分である。 我々が測定した最小のモデルと最速のモデルは3次モデルであり、一致するサイズでは、オペレーターはどちらかの軸をほとんど動かさない: 常駐25M3次モデルが10.0-10.8 MBと0.62-0.64 ms/tokenに着陸する。 ヘッドラインペアは25M (10.5 MB, 0.63 ms) と50M (16.8 MB, 0.86 ms) - 9.8xと6.1x小さく、3.0xと2.2倍の速さである。 これらの測定結果から、まずエンコーディングを選択し、それからパラメータにバイト予算を費やすという、設計手順を描いています。

関連論文リスト

• Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
  リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。 本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
  論文  参考訳（メタデータ） (2026-09-02T14:26:06Z)
• Daedalus-150M: A Convolution-Attention Hybrid Designed for CPU Inference [0.0]
  小さな言語モデルは通常、大きなもののように構築され、その後CPUに圧縮される。 ターゲットを最初に修正し、ユーザを1人、トークンを1度に1人、重みを4ビット、通常のCPUで、それに合うようにアーキテクチャを選択しました。 このモデルはトレーニング開始前に修正された42.20のバーに対して5タスクのベンチマークで47.31得点した。 GPT-2 124M、Pythia-160M、OPT-125M、GPT-neo-125Mの3倍から6倍のデータで訓練され、MobileLLM-125Mを超える。
  論文  参考訳（メタデータ） (2026-08-20T16:09:43Z)
• VibeVoice-ASR-BitNet Technical Report [86.93881874028209]
  VibeVoice-ASR-BitNetは、エッジCPU上のリアルタイム推論に最適化されたVibeVoice-ASRの圧縮版である。 攻撃的圧縮下での精度を維持するために,プログレッシブ量子化対応トレーニング戦略を実装した。 VibeVoice-ASR-BitNetはWhisperより1.6-2.3倍速い。
  論文  参考訳（メタデータ） (2026-07-23T09:08:04Z)
• A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi [0.0]
  このレポートはハードウェアを維持し、適合するモデルに何ができるかを尋ねる。 SigLIP2エンコーダとウィンドウアテンションマージを組み合わせた,現代的なマルチモーダルアシスタントであるMini-V-4.6をデプロイする。 システムは、画像質問のエンドツーエンドを1.7秒で答える。
  論文  参考訳（メタデータ） (2026-07-16T04:48:44Z)
• Spike-Aware C++ INT8 Inference for Sparse Spiking Language Models on Commodity CPUs [8.419155861590548]
  スパイク言語モデルは、高密度のTransformerランタイムが直接利用しないアクティベーション空間を公開します。 スパースバイナリスパイク状態を実行プリミティブとして扱うC++ CPU推論ランタイムを実装した。 スパイク対応の実行は、スパース言語モデルのCPUスループットとメモリ動作を改善することができる。
  論文  参考訳（メタデータ） (2026-06-02T02:03:37Z)
• Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth [0.0]
  Unsloth上で3.5倍のスピードアップを実現したオープンソースのトレーニングフレームワークであるCentralsを紹介します。 オンラインのソフトマックスの正しさ、FlashAttention IO complexity O(N2 d2 M-1)、LoRA+学習速度勾配近似など、完全な数学的基礎を提供する。
  論文  参考訳（メタデータ） (2026-01-06T00:00:55Z)
• You Only Cache Once: Decoder-Decoder Architectures for Language Models [132.4064488592704]
  大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。 YOCOはキーと値のペアを一度だけキャッシュする。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• Binary and Ternary Natural Language Generation [24.295815261826153]
  三項ニューラルネットワークと二項ニューラルネットワークは、乗算不要な計算を可能にする。 完全精度ネットワーク上では、複数の桁の効率向上を約束する。 しかし、そのようなネットワークの最適化は非常に困難であることが証明されている。 要約および機械翻訳の下流タスクにおいて、第1次および第2次変換器モデルを示す。
  論文  参考訳（メタデータ） (2023-06-02T18:01:02Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
  トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。 175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
  論文  参考訳（メタデータ） (2022-08-15T17:08:50Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。