論文の概要: A Comprehensive Benchmark of Deep Learning Libraries on Mobile Devices

• arxiv url: http://arxiv.org/abs/2202.06512v1
• Date: Mon, 14 Feb 2022 07:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 06:49:22.131823
• Title: A Comprehensive Benchmark of Deep Learning Libraries on Mobile Devices
• Title（参考訳）: モバイルデバイスにおけるディープラーニングライブラリの総合ベンチマーク
• Authors: Qiyang Zhang, Xiang Li, Xiangying Che, Xiao Ma, Ao Zhou, Mengwei Xu, Shangguang Wang, Yun Ma, Xuanzhe Liu
• Abstract要約: 6つの代表的なDL libと15の多様化DLモデルを含むベンチマークを構築した。 次に10台のモバイルデバイスで広範な実験を行い、現在のモバイルDL libsエコシステムの全体像を明らかにするのに役立ちます。 最高のパフォーマンスのDL libは、さまざまなモデルやハードウェアで著しく断片化されています。
• 参考スコア（独自算出の注目度）: 12.342282138576348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying deep learning (DL) on mobile devices has been a notable trend in recent years. To support fast inference of on-device DL, DL libraries play a critical role as algorithms and hardware do. Unfortunately, no prior work ever dives deep into the ecosystem of modern DL libs and provides quantitative results on their performance. In this paper, we first build a comprehensive benchmark that includes 6 representative DL libs and 15 diversified DL models. We then perform extensive experiments on 10 mobile devices, which help reveal a complete landscape of the current mobile DL libs ecosystem. For example, we find that the best-performing DL lib is severely fragmented across different models and hardware, and the gap between those DL libs can be rather huge. In fact, the impacts of DL libs can overwhelm the optimizations from algorithms or hardware, e.g., model quantization and GPU/DSP-based heterogeneous computing. Finally, atop the observations, we summarize practical implications to different roles in the DL lib ecosystem.
• Abstract（参考訳）: 近年,モバイルデバイスにディープラーニング(dl)をデプロイするトレンドが注目されている。 デバイス上のDLの高速推論をサポートするため、DLライブラリはアルゴリズムやハードウェアとして重要な役割を果たす。 残念なことに、現在のdl libsのエコシステムに深く潜り込み、パフォーマンスに関する定量的な結果を提供する以前の作業はない。 本稿では,まず6つのDL libと15の多様化DLモデルを含む総合的なベンチマークを構築する。 次に10台のモバイルデバイスで広範な実験を行い、現在のモバイルDL libsエコシステムの全体像を明らかにするのに役立ちます。 例えば、最もパフォーマンスの高いdl libは、異なるモデルやハードウェアにまたがって非常に断片化されており、dl lib間のギャップはかなり大きいことが分かりました。 実際、DL libsの影響は、例えばモデル量子化やGPU/DSPベースの異種コンピューティングといったアルゴリズムやハードウェアから最適化を圧倒することができる。 最後に,DL libエコシステムにおける様々な役割に対する実践的意味を要約する。

関連論文リスト

• MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
  モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。 MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
  論文  参考訳（メタデータ） (2024-06-12T22:58:12Z)
• A Survey of Deep Learning Library Testing Methods [33.62859142913532]
  ディープラーニング(DL)ライブラリは、基礎となる最適化と計算を行う。 DLライブラリはバグに免疫がなく、ユーザの個人資産や安全性に深刻な脅威をもたらす可能性がある。 本稿では,各種DLライブラリに関する試験研究の概要について述べる。
  論文  参考訳（メタデータ） (2024-04-27T11:42:13Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Benchmark Assessment for DeepSpeed Optimization Library [1.7839986996686321]
  ディープラーニング(DL)モデルは、そのパフォーマンスと大規模なデータセットを扱う能力のために、機械学習で広く使用されている。 このようなデータセットのサイズとDLモデルの複雑さは、そのようなモデルが複雑になり、大量のリソースとトレーニング時間を消費する。 最近のライブラリやアプリケーションは、DLの複雑さと効率の問題に対処するために導入されている。
  論文  参考訳（メタデータ） (2022-02-12T04:52:28Z)
• A First Look at Class Incremental Learning in Deep Learning Mobile Traffic Classification [68.11005070665364]
  インクリメンタルラーニング(IL)技術を使って、モデルに新しいクラスをフルリトレーニングせずに追加し、モデルのアップデートサイクルを高速化します。 iCarlはアートILメソッドのステートであり、MIRAGE-2019は40のAndroidアプリからのトラフィックを持つパブリックデータセットである。 解析によってその初期段階が明らかになっているにもかかわらず、IL技術は自動DLベースの交通分析システムへのロードマップに関する有望な研究分野である。
  論文  参考訳（メタデータ） (2021-07-09T14:28:16Z)
• Tensor Processing Primitives: A Programming Abstraction for Efficiency and Portability in Deep Learning Workloads [86.62083829086393]
  このプロセスプリミティブ(TPP、Processing Primitives)は、高い生産性を持つDeep Learning-Workloadの効率的でポータブルな実装を目指すプログラミング抽象化である。 TPPは、高次元テンソル上の複素作用素を構成するためにビルディングブロックとして使用できる2Dテンソル作用素(または仮想ISA)のコンパクトで汎用的な集合を定義する。 我々は,スタンドアロンカーネルとTLPで表現されたエンドツーエンドのDLワークロードによるアプローチの有効性を実証し,複数のプラットフォーム上での最先端実装よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:35:49Z)
• An Empirical Study on Deployment Faults of Deep Learning Based Mobile Applications [7.58063287182615]
  モバイルディープラーニング(DL)アプリは、大規模データを使用してトレーニングされたDLモデルとDLプログラムを統合する。 本稿では,モバイルdlアプリのデプロイ障害に関する最初の総合的研究を行う。 我々は,断層症状に関する23のカテゴリからなる微粒度分類を構築し,異なる断層タイプに対する共通修正戦略を蒸留する。
  論文  参考訳（メタデータ） (2021-01-13T08:19:50Z)
• A Survey of Deep Active Learning [54.376820959917005]
  アクティブラーニング(AL)は、最も少ないサンプルをマークすることで、モデルの性能向上を最大化しようとする。 ディープラーニング(DL)はデータに対して欲張りであり、大量のパラメータを最適化するために大量のデータ供給を必要とする。 ディープラーニング(Deep Active Learning, DAL)が誕生した。
  論文  参考訳（メタデータ） (2020-08-30T04:28:31Z)
• PolyDL: Polyhedral Optimizations for Creation of High Performance DL primitives [55.79741270235602]
  本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。 我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。 また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-06-02T06:44:09Z)
• The Deep Learning Compiler: A Comprehensive Survey [16.19025439622745]
  我々は、広く採用されている設計を詳細に分離し、既存のDLコンパイラを網羅的に調査する。 具体的には、様々な側面から既存のDLコンパイラを総合的に比較する。
  論文  参考訳（メタデータ） (2020-02-06T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。