論文の概要: Benchmarking On-Device Machine Learning on Apple Silicon with MLX

• arxiv url: http://arxiv.org/abs/2510.18921v1
• Date: Tue, 21 Oct 2025 08:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.319212
• Title: Benchmarking On-Device Machine Learning on Apple Silicon with MLX
• Title（参考訳）: MLXによるApple Silicon上でのオンデバイス機械学習のベンチマーク
• Authors: Oluwaseun A. Ajayi, Ogundepo Odunayo,
• Abstract要約: MLXは、Appleのシリコンデバイス上での機械学習(ML)計算に最適化されたフレームワークである。 本稿では,トランスモデルのレイテンシに着目し,MLXの性能評価を行う。 結果は、Appleのエコシステム内で、効率的でアクセスしやすいオンデバイスMLアプリケーションを可能にするMLXの可能性を強調している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent widespread adoption of Large Language Models (LLMs) and machine learning in general has sparked research interest in exploring the possibilities of deploying these models on smaller devices such as laptops and mobile phones. This creates a need for frameworks and approaches that are capable of taking advantage of on-device hardware. The MLX framework was created to address this need. It is a framework optimized for machine learning (ML) computations on Apple silicon devices, facilitating easier research, experimentation, and prototyping. This paper presents a performance evaluation of MLX, focusing on inference latency of transformer models. We compare the performance of different transformer architecture implementations in MLX with their Pytorch counterparts. For this research we create a framework called MLX-transformers which includes different transformer implementations in MLX and downloads the model checkpoints in pytorch and converts it to the MLX format. By leveraging the advanced architecture and capabilities of Apple Silicon, MLX-Transformers enables seamless execution of transformer models directly sourced from Hugging Face, eliminating the need for checkpoint conversion often required when porting models between frameworks. Our study benchmarks different transformer models on two Apple Silicon macbook devices against an NVIDIA CUDA GPU. Specifically, we compare the inference latency performance of models with the same parameter sizes and checkpoints. We evaluate the performance of BERT, RoBERTa, and XLM-RoBERTa models, with the intention of extending future work to include models of different modalities, thus providing a more comprehensive assessment of MLX's capabilities. The results highlight MLX's potential in enabling efficient and more accessible on-device ML applications within Apple's ecosystem.
• Abstract（参考訳）: 最近、LLM(Large Language Models)やマシンラーニングが広く採用されていることから、ラップトップや携帯電話などの小さなデバイスにこれらのモデルをデプロイする可能性を探究する研究が注目されている。 これにより、オンデバイスハードウェアを活用可能なフレームワークやアプローチの必要性が生まれます。 このニーズに対処するためにMLXフレームワークが作られた。 これはAppleのシリコンデバイス上での機械学習(ML)計算に最適化されたフレームワークであり、研究、実験、プロトタイピングを容易にする。 本稿では,トランスモデルの推論遅延に着目し,MLXの性能評価を行う。 MLXの異なるトランスフォーマーアーキテクチャの実装性能とPytorchの実装性能を比較した。 この研究のために、MLX-transformersと呼ばれるフレームワークを作成し、MLXで異なるトランスフォーマーを実装し、モデルチェックポイントをpytorchでダウンロードし、MLXフォーマットに変換する。 Apple Siliconの高度なアーキテクチャと機能を活用することで、MLX-Transformersは、Hugging Faceから直接ソースされたトランスフォーマーモデルのシームレスな実行を可能にし、フレームワーク間でモデルを移植する際に必要となるチェックポイント変換を不要にする。 われわれの研究では、Apple Silicon macbookデバイス2機種の異なるトランスフォーマーモデルをNVIDIA CUDA GPUと比較した。 具体的には、モデルの推論遅延性能をパラメータサイズとチェックポイントで比較する。 我々は,様々なモダリティのモデルを含むよう今後の作業を拡張することを目的として,BERT,RoBERTa,XLM-RoBERTaモデルの性能評価を行った。 結果は、Appleのエコシステム内で、効率的でアクセスしやすいオンデバイスMLアプリケーションを可能にするMLXの可能性を強調している。

関連論文リスト

• ABMax: A JAX-based Agent-based Modeling Framework [0.5753241925582826]
  エージェントベースモデリング(ABM)は、複雑な現象の出現を研究者が観察することを可能にする。 JAXのような高性能な配列計算ライブラリは、そのような計算モデルを多数のエージェントに拡張するのに役立ちます。 ABMaxはJAXをベースにしたABMフレームワークで、複数のジャスト・イン・タイム(JIT)コンパイル可能なアルゴリズムを実装し、この機能を提供します。
  論文  参考訳（メタデータ） (2025-08-22T16:33:26Z)
• TransMamba: Fast Universal Architecture Adaption from Transformers to Mamba [66.80624029365448]
  本稿では,Transformer事前学習知識の再利用を容易にするクロスアーキテクチャな知識伝達パラダイムであるTransMambaを提案する。 本稿では,マンバをベースとしたモデルのトレーニングを高速化する2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-21T01:22:01Z)
• AIvaluateXR: An Evaluation Framework for on-Device AI in XR with Benchmarking Results [55.33807002543901]
  我々は,XRデバイス上で動作する大規模言語モデル(LLM)をベンチマークするための総合評価フレームワークであるAIvaluateXRを提案する。 我々はMagic Leap 2、Meta Quest 3、Vivo X100s Pro、Apple Vision Proという4つのXRプラットフォームに17個の選択されたLSMをデプロイし、広範囲な評価を行います。 本稿では,3次元最適性理論に基づく統一評価手法を提案する。
  論文  参考訳（メタデータ） (2025-02-13T20:55:48Z)
• Transformers to SSMs: Distilling Quadratic Knowledge to Subquadratic Models [92.36510016591782]
  本稿では,事前学習したトランスフォーマーアーキテクチャを,状態空間モデル(SSM)などの代替アーキテクチャに蒸留する手法を提案する。 提案手法はMOHAWKと呼ばれ、3Bトークンと5Bトークンを用いたハイブリッドバージョン(Hybrid Phi-Mamba)を用いてPhi-1.5アーキテクチャに基づくMamba-2変異体を蒸留することができる。 Phi-Mambaは、スクラッチからモデルのトレーニングに使用されるトレーニングデータの1%未満を使用してはいるが、過去のオープンソース非トランスフォーマーモデルと比較して、大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-08-19T17:48:11Z)
• Is Mamba Capable of In-Context Learning? [63.682741783013306]
  GPT-4のような技術基盤モデルの現状は、文脈内学習(ICL)において驚くほどよく機能する この研究は、新たに提案された状態空間モデルであるMambaが同様のICL能力を持つという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-05T16:39:12Z)
• MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
  MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。 MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。 8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• XRBench: An Extended Reality (XR) Machine Learning Benchmark Suite for the Metaverse [18.12263246913058]
  メタバースユースケースをサポートするために拡張現実(XR)のようなアプリケーション分野では、リアルタイムマルチタスクマルチモデル(MTMM)ワークロードが出現している。 これらのワークロードは、ユーザインタラクションと計算に複雑な機械学習(ML)アクティビティを組み合わせる。 これらのワークロードには、固有の困難と制約がある。
  論文  参考訳（メタデータ） (2022-11-16T05:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。