論文の概要: Large Language Model Performance Benchmarking on Mobile Platforms: A Thorough Evaluation
- arxiv url: http://arxiv.org/abs/2410.03613v1
- Date: Fri, 4 Oct 2024 17:14:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 21:08:10.474197
- Title: Large Language Model Performance Benchmarking on Mobile Platforms: A Thorough Evaluation
- Title（参考訳）: モバイルプラットフォーム上での大規模言語モデルパフォーマンスベンチマーク:詳細な評価
- Authors: Jie Xiao, Qianyi Huang, Xu Chen, Chen Tian,
- Abstract要約: 大規模言語モデル(LLM)は、私たちの仕事や日常生活のあらゆる側面にますます統合されています。
ユーザのプライバシに関する懸念が高まり、これらのモデルがローカルに展開される傾向が強まっている。
急速に普及しているアプリケーションとして、市販のモバイルデバイスのパフォーマンスを懸念しています。
- 参考スコア（独自算出の注目度）: 10.817783356090027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models (LLMs) increasingly integrate into every aspect of our work and daily lives, there are growing concerns about user privacy, which push the trend toward local deployment of these models. There are a number of lightweight LLMs (e.g., Gemini Nano, LLAMA2 7B) that can run locally on smartphones, providing users with greater control over their personal data. As a rapidly emerging application, we are concerned about their performance on commercial-off-the-shelf mobile devices. To fully understand the current landscape of LLM deployment on mobile platforms, we conduct a comprehensive measurement study on mobile devices. We evaluate both metrics that affect user experience, including token throughput, latency, and battery consumption, as well as factors critical to developers, such as resource utilization, DVFS strategies, and inference engines. In addition, we provide a detailed analysis of how these hardware capabilities and system dynamics affect on-device LLM performance, which may help developers identify and address bottlenecks for mobile LLM applications. We also provide comprehensive comparisons across the mobile system-on-chips (SoCs) from major vendors, highlighting their performance differences in handling LLM workloads. We hope that this study can provide insights for both the development of on-device LLMs and the design for future mobile system architecture.
- Abstract（参考訳）: 大規模言語モデル(LLM)が私たちの仕事や日常生活のあらゆる側面にますます統合されるにつれて、ユーザのプライバシに関する懸念が高まっています。
スマートフォン上でローカルに実行できる軽量のLCM(Gemini Nano, LLAMA2 7Bなど)が多数ある。
急速に普及しているアプリケーションとして、市販のモバイルデバイスのパフォーマンスを懸念しています。
モバイルプラットフォーム上でのLLM展開の現在の状況を理解するため,モバイル機器に関する総合的な計測研究を行った。
トークンのスループットやレイテンシ,バッテリ消費といったユーザエクスペリエンスに影響を与える指標に加えて,リソース利用やDVFS戦略,推論エンジンなど,開発者にとって重要な要因も評価します。
さらに、これらのハードウェア機能とシステムダイナミクスがデバイス上でのLCMパフォーマンスにどのように影響するかを詳細に分析し、モバイルLCMアプリケーションのボトルネックを特定し対処するのに役立ちます。
また、主要なベンダーとモバイルシステムオンチップ(SoC)を総合的に比較し、LLMワークロードの処理におけるパフォーマンスの違いを強調します。
本研究は,デバイス上でのLCMの開発と,将来のモバイルシステムアーキテクチャの設計の両面での洞察を得られることを期待する。
関連論文リスト
- SlimLM: An Efficient Small Language Model for On-Device Document Assistance [60.971107009492606]
SlimLMはモバイル端末上での文書支援タスクに最適化された一連のSLMである。
SlimLMはSlimPajama-627Bで事前訓練され、DocAssistで微調整されている。
我々はSlimLMを既存のSLMと比較し、同等または優れた性能を示す。
論文 参考訳（メタデータ） (2024-11-15T04:44:34Z) - Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。
我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
論文 参考訳（メタデータ） (2024-10-21T17:58:20Z) - PalmBench: A Comprehensive Benchmark of Compressed Large Language Models on Mobile Platforms [11.87161637895978]
ユーザがモバイルデバイス上で大きな言語モデルを評価することができる軽量でオールインワンな自動ベンチマークフレームワークを紹介します。
ハードウェア能力の異なる複数のモバイルプラットフォームに対して、様々な量子化構成(重みとアクティベーションの両方)の異なる様々な人気のあるLCMのベンチマークを提供する。
論文 参考訳（メタデータ） (2024-10-05T03:37:07Z) - On-Device Language Models: A Comprehensive Review [26.759861320845467]
資源制約のあるデバイスに計算コストの高い大規模言語モデルをデプロイする際の課題について検討する。
論文は、デバイス上での言語モデル、その効率的なアーキテクチャ、および最先端の圧縮技術について考察する。
主要モバイルメーカーによるオンデバイス言語モデルのケーススタディは、実世界の応用と潜在的な利益を実証している。
論文 参考訳（メタデータ） (2024-08-26T03:33:36Z) - Performance Law of Large Language Models [58.32539851241063]
性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを導くために用いられる。
性能法則は、LLMアーキテクチャの選択と計算資源の効率的な割り当てを広範な実験なしで導くのに利用できる。
論文 参考訳（メタデータ） (2024-08-19T11:09:12Z) - The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective [53.48484062444108]
モデルとデータの開発は2つの別々のパスではなく、むしろ相互接続であることがわかった。
一方,MLLMはデータ開発に役立てることができるため,MLLMの性能向上に寄与する。
MLLMコミュニティにおけるデータモデル共同開発を促進するために,データモデル共同開発の観点からMLLMに関連する既存の研究を体系的にレビューする。
論文 参考訳（メタデータ） (2024-07-11T15:08:11Z) - MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。
MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
論文 参考訳（メタデータ） (2024-06-12T22:58:12Z) - Demystifying Platform Requirements for Diverse LLM Inference Use Cases [7.233203254714951]
本稿では,大規模言語モデル推論性能とプラットフォーム設計パラメータの関係を明らかにするための分析ツールGenZを提案する。
LLaMA や GPT-4 のような SOTA LLM モデルをサポートするためのプラットフォーム要件を,多様なサービス設定下で定量化する。
結局のところ、この研究は、幅広いアプリケーションにまたがる大きな言語モデルの潜在能力を最大限に活用するためのプラットフォーム設計の考察に光を当てている。
論文 参考訳（メタデータ） (2024-06-03T18:00:50Z) - MELTing point: Mobile Evaluation of Language Transformers [8.238355633015068]
大規模言語モデル(LLM)のモバイル実行の現状について検討する。
我々は,デバイス上でのLLMのヘッドレス実行とベンチマークをサポートする,独自の自動化インフラストラクチャMELTを開発した。
我々は、一般的な命令の微調整 LLM を評価し、それぞれのフレームワークを用いてエンドツーエンドおよび粒度の性能を計測する。
論文 参考訳（メタデータ） (2024-03-19T15:51:21Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳（メタデータ） (2023-10-04T20:27:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。