論文の概要: Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference

• arxiv url: http://arxiv.org/abs/2603.06728v1
• Date: Fri, 06 Mar 2026 03:03:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:12.997435
• Title: Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference
• Title（参考訳）: Orion: AppleのLLMトレーニングと推論のためのニューラルエンジンの特性とプログラミング
• Abstract要約: ニューラル処理ユニット(NPU)を搭載した20億以上のAppleデバイス - Apple Neural Engine(ANE) AppleのパブリックMLフレームワークであるCoreMLは、直接的なANEプログラミングを防止し、デバイス上でのトレーニングをサポートしない不透明な抽象化を課している。 我々はOrionについて,直接ANE実行,コンパイラパイプライン,単一ネイティブランタイムでのチェックポイント再開による安定したマルチステップトレーニングを組み合わせた,最初のエンドツーエンドシステムについて紹介する。
• 参考スコア（独自算出の注目度）: 3.151184728006369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over two billion Apple devices ship with a Neural Processing Unit (NPU) - the Apple Neural Engine (ANE) - yet this accelerator remains largely unused for large language model workloads. CoreML, Apple's public ML framework, imposes opaque abstractions that prevent direct ANE programming and do not support on-device training. We present Orion, to our knowledge the first open end-to-end system that combines direct ANE execution, a compiler pipeline, and stable multi-step training with checkpoint resume in a single native runtime, bypassing CoreML entirely via Apple's private _ANEClient and _ANECompiler APIs. Building on prior characterization work by maderix, we extend public knowledge of ANE constraints to a catalog of 20 restrictions on MIL IR programs, memory layout, compilation limits, and numerical behavior, including 14 previously undocumented constraints discovered during Orion development. Orion includes a compiler that lowers a graph IR through five optimization passes to ANE-native MIL and a runtime that manages IOSurface-backed zero-copy tensor I/O, program caching, and delta compilation for weight updates. Because the ANE bakes weights at compile time, naive training normally requires full recompilation per step (~4.2 s). We show that compiled programs can instead be updated by unloading, patching weight files, and reloading, bypassing ANECCompile() and reducing recompilation from 4,200 ms to 494 ms per step (8.5x), yielding a 3.8x training speedup. On an M4 Max, Orion achieves 170+ tokens/s for GPT-2 124M inference and demonstrates stable training of a 110M-parameter transformer on TinyStories for 1,000 steps in 22 minutes with zero NaN occurrences. We also present LoRA adapter-as-input, enabling hot-swap of adapters via IOSurface inputs without recompilation.
• Abstract（参考訳）: 20億以上のAppleデバイスに、Apple Neural Engine(ANE)と呼ばれるNeural Processing Unit(NPU)が同梱されている。 AppleのパブリックMLフレームワークであるCoreMLは、直接的なANEプログラミングを防止し、デバイス上でのトレーニングをサポートしない不透明な抽象化を課している。 私たちはOrionを、Appleのプライベートな_ANEClientと_ANECompiler APIを通じてCoreMLを完全にバイパスし、直接ANE実行、コンパイラパイプライン、単一のネイティブランタイムでチェックポイントを再開する安定したマルチステップトレーニングを組み合わせた最初のエンドツーエンドシステムとして紹介します。 maderixによる事前評価作業に基づいて、ANE制約の公開知識を、MIL IRプログラム、メモリレイアウト、コンパイル制限、数値動作に関する20の制約のカタログに拡張する。 Orionには、ANEネイティブのMILに渡す5つの最適化を通じてグラフIRを下げるコンパイラと、IOSurfaceが支援するゼロコピーテンソルI/O、プログラムキャッシング、重み更新のためのデルタコンパイルを管理するランタイムが含まれている。 ANEはコンパイル時に重みを焼くため、ナイーブトレーニングは通常ステップ毎の完全な再コンパイル (~4.2 s) を必要とする。 コンパイルプログラムをアンロード、パッチ、再ロードで更新し、ANECCompile()をバイパスし、再コンパイルをステップあたり4,200msから494ms (8.5x) に減らし、トレーニング速度を3.8倍に向上させる。 M4 Maxで、OrionはGPT-2 124Mの170以上のトークン/sを達成し、TinyStories上の110Mパラメータの安定なトレーニングを、NaNゼロの22分で1,000ステップ行う。 また、LoRAアダプタ・アズ・インプットにより、再コンパイルせずにIOSurface入力を介してアダプタのホットスワップを可能にする。

関連論文リスト

• Numbat: Building and Verifying a Self-Contained Machine-Learning Stack [0.0]
  numbatは1つの汎用言語(Zig)で書かれた機械学習スタックで、サードパーティの依存関係はない。 我々はナムバットの構築と検証について報告する。
  論文  参考訳（メタデータ） (2026-09-09T08:36:12Z)
• Meganeura: Portable GPU Training and Inference through Vulkan and Metal [0.0]
  Meganeura氏は、ひとつのコンパクトなネイティブコンパイラが、コンシューマGPU上の両方のフェーズにまたがることができるかどうかを尋ねている。 NVIDIAとAMDの離散GPUで、マッチした5つのワークロードとPyTorchを比較した。 その結果,一般消費者のグラフィクスAPIは,コンパクトな共有トレイン・ツー・デプロイスタックを,時としてベンダ・コンペティティブなパフォーマンスでサポートできることが示唆された。
  論文  参考訳（メタデータ） (2026-08-03T00:42:55Z)
• ANEForge: Python for direct computation on the Apple Neural Engine [1.0152838128195467]
  ANEForgeは、最近のすべてのAppleデバイスでApple Neural Engine(ANE)をコンパイルするPythonパッケージである。 ANEForgeは58の融合演算子と19のネイティブブリッジ演算子から構築された遅延グラフをコンパイルする。 各リリースは、記録され、スパースされたANEコンパイラバージョンに対して検証される。
  論文  参考訳（メタデータ） (2026-06-12T21:52:06Z)
• Litespark Inference on Consumer CPUs: Custom SIMD Kernels for Ternary Neural Networks [0.00815557531820863]
  Litespark-InferenceはHugging-Faceと直接統合され、9.2倍高速、52倍高速、14倍メモリ削減を実現している。 実装であるLitespark-Inferenceは、pipインストール可能で、Hugging-Faceと直接統合され、9.2倍高速なタイム・ツー・ファースト・トークン、52倍高いスループット、14倍のメモリ削減を実現しています。
  論文  参考訳（メタデータ） (2026-05-07T16:07:39Z)
• On-Device Vision Training, Deployment, and Inference on a Thumb-Sized Microcontroller [0.0]
  本稿では,エンド・ツー・エンドのビジョン・デバイス・機械学習・パイプラインを提案する。 Seeed Studio ESP32-S3 XI Kit MLAO (8MB PSRAM)で動作し、ファームウェアはトレーニング1時間あたり約9分で3種類の64x64画像分類を実現し、リアルタイム推論は6.3 FPSである。
  論文  参考訳（メタデータ） (2026-04-24T20:59:16Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers [65.35142508909892]
  AxoNNと呼ばれる,スケーラブルでポータブルなオープンソースフレームワークで実装された新しい4次元ハイブリッド並列アルゴリズムを提案する。 本稿では,Frontier 上で AxoNN を用いて405ビリオンパラメータ LLM の微調整を行う。
  論文  参考訳（メタデータ） (2025-02-12T06:05:52Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• Training on the Fly: On-device Self-supervised Learning aboard Nano-drones within 20 mW [52.280742520586756]
  ナノドローンのような小さな機械学習(TinyML)を利用した小型サイバー物理システム(CPS)は、ますます魅力的な技術になりつつある。 単純な電子回路はこれらのCPSを安価にすることができるが、計算、メモリ、センサーの資源を著しく制限する。 本稿では,ナノドロンの限られた超低消費電力資源にのみ依存する,オンデバイスファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-06T13:11:36Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Tracking Meets LoRA: Faster Training, Larger Model, Stronger Performance [87.19164603145056]
  実験室レベルの資源をトラッキングするための大規模ViTモデルのパワーを明らかにする手法であるLoRATを提案する。 私たちの作業の本質は、推論レイテンシを追加することなく、モデルパラメータの小さなサブセットを微調整するテクニックであるLoRAを適用することです。 我々はPETRの適応のみに基づくアンカーフリーヘッドを設計し、計算オーバーヘッドを少なくして性能を向上する。
  論文  参考訳（メタデータ） (2024-03-08T11:41:48Z)
• TinyCL: An Efficient Hardware Architecture for Continual Learning on Autonomous Systems [5.990186851067931]
  資源制約された自律システム上で連続学習を行うためのハードウェアアーキテクチャであるTinyCLを提案する。 TinyCLは、前方と後方の両方の伝搬を実行する処理ユニットと、メモリベースのCLワークロードを管理する制御ユニットで構成される。 我々の知る限り、提案したTinyCLは、自律システム上でCLを実行する最初のハードウェアアクセラレータである。
  論文  参考訳（メタデータ） (2024-02-15T08:09:17Z)
• Full Parameter Fine-tuning for Large Language Models with Limited Resources [55.794732214059806]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、トレーニングには大量のGPUリソースを必要としている。 我々は,メモリ使用量を削減するために,勾配とパラメータの更新を1ステップで融合する新しい計算,LOMO(LOw-Memory Optimization)を提案する。
  論文  参考訳（メタデータ） (2023-06-16T11:37:15Z)
• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
  LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。 AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。 また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
  論文  参考訳（メタデータ） (2023-06-01T17:59:10Z)
• Deploying Machine Learning Models to Ahead-of-Time Runtime on Edge Using MicroTVM [2.144835105990896]
  我々は,学習済みモデルをバックエンド用のCソースライブラリに解析するエンドツーエンドのコードジェネレータを開発した。 特定の計算集約演算子は、専用アクセラレータに容易にオフロードできる。 ARM Cortex M4Fコア上で手動ジェスチャー認識実験を行う。
  論文  参考訳（メタデータ） (2023-04-10T19:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。