論文の概要: MLPerf Mobile Inference Benchmark
- arxiv url: http://arxiv.org/abs/2012.02328v2
- Date: Fri, 26 Feb 2021 14:34:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-23 15:55:15.380953
- Title: MLPerf Mobile Inference Benchmark
- Title(参考訳): MLPerfモバイル推論ベンチマーク
- Authors: Vijay Janapa Reddi, David Kanter, Peter Mattson, Jared Duke, Thai
Nguyen, Ramesh Chukka, Kenneth Shiring, Koan-Sin Tan, Mark Charlebois,
William Chou, Mostafa El-Khamy, Jungwook Hong, Michael Buch, Cindy Trinh,
Thomas Atta-fosu, Fatih Cakir, Masoud Charkhabi, Xiaodong Chen, Jimmy Chiang,
Dave Dexter, Woncheol Heo, Guenther Schmuelling, Maryam Shabani, Dylan Zika
- Abstract要約: erferf Mobileは、業界メンバーと学術研究者によって開発された、業界標準のオープンソースモバイルベンチマークである。
まず,コンピュータビジョンと自然言語処理のための"out-of-the-box"推論性能ベンチマークをモバイルデバイス上で提供するアプリを開発した。
- 参考スコア(独自算出の注目度): 11.883357894242668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: MLPerf Mobile is the first industry-standard open-source mobile benchmark
developed by industry members and academic researchers to allow
performance/accuracy evaluation of mobile devices with different AI chips and
software stacks. The benchmark draws from the expertise of leading mobile-SoC
vendors, ML-framework providers, and model producers. In this paper, we
motivate the drive to demystify mobile-AI performance and present MLPerf
Mobile's design considerations, architecture, and implementation. The benchmark
comprises a suite of models that operate under standard models, data sets,
quality metrics, and run rules. For the first iteration, we developed an app to
provide an "out-of-the-box" inference-performance benchmark for computer vision
and natural-language processing on mobile devices. MLPerf Mobile can serve as a
framework for integrating future models, for customizing quality-target
thresholds to evaluate system performance, for comparing software frameworks,
and for assessing heterogeneous-hardware capabilities for machine learning, all
fairly and faithfully with fully reproducible results.
- Abstract(参考訳): MLPerf Mobileは、業界メンバーと学術研究者が開発し、AIチップとソフトウェアスタックの異なるモバイルデバイスのパフォーマンス/精度評価を可能にする最初の業界標準のオープンソースモバイルベンチマークである。
このベンチマークは、主要なモバイルSoCベンダー、MLフレームワークプロバイダ、モデルプロデューサの専門知識から導かれる。
本稿では,モバイルAI性能のデミスティフィケーションを推進し,MLPerf Mobileの設計上の考慮事項,アーキテクチャ,実装について述べる。
ベンチマークは、標準モデル、データセット、品質メトリクス、そしてルールを実行する一連のモデルで構成されている。
第1回では,モバイルデバイス上でのコンピュータビジョンと自然言語処理のための"アウト・オブ・ボックス"な推論パフォーマンスベンチマークを提供するアプリを開発した。
MLPerf Mobileは、将来のモデルの統合、品質目標しきい値のカスタマイズ、システムパフォーマンスの評価、ソフトウェアフレームワークの比較、マシンラーニングの不均一なハードウェア能力の評価のためのフレームワークとして機能する。
関連論文リスト
- Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual
Perception [54.847886281834576]
自律型マルチモーダルモバイルデバイスエージェントMobile-Agentを紹介する。
Mobile-Agentはまず視覚認識ツールを利用して、アプリのフロントエンドインターフェイス内の視覚的要素とテキスト的要素の両方を正確に識別し、特定する。
そして、複雑なオペレーションタスクを自律的に計画し、分解し、ステップバイステップでモバイルアプリをナビゲートする。
論文 参考訳(メタデータ) (2024-01-29T13:46:37Z) - Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined
Levels [95.44077384918725]
スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。
提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-28T16:10:25Z) - MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile
Devices [73.46317110474064]
MobileVLM (MobileVLM) は、モバイルデバイス上で動作する多モード視覚言語モデル(MMVLM)である。
これは、CLIP方式で事前訓練されたマルチモーダル視覚モデルである、スクラッチからトレーニングされた1.4Bと2.7Bのスケールの言語モデルで構成されている。
論文 参考訳(メタデータ) (2023-12-28T08:21:24Z) - Lightweight Face Recognition: An Improved MobileFaceNet Model [0.0]
本稿では,MobileFaceNetとその修正版であるMMobileFaceNetについて述べる。
計算資源が限られているデバイス上での効率的なFRモデルの必要性は、メモリフットプリントを削減し、精度を犠牲にすることなく計算要求を減らしたモデルの開発につながった。
論文 参考訳(メタデータ) (2023-11-26T15:01:00Z) - Model Share AI: An Integrated Toolkit for Collaborative Machine Learning
Model Development, Provenance Tracking, and Deployment in Python [0.0]
モデル共有AI(AIMS)は、コラボレーティブモデル開発、モデル前駆者追跡、モデルデプロイメントを合理化するように設計された、使いやすいMLOpsプラットフォームである。
AIMSは、協調的なプロジェクト空間と、見当たらない評価データに基づいてモデル提出をランク付けする標準化されたモデル評価プロセスを備えている。
AIMSでは、Scikit-Learn、Keras、PyTorch、ONNXで構築されたMLモデルを、ライブREST APIや自動生成されたWebアプリにデプロイすることができる。
論文 参考訳(メタデータ) (2023-09-27T15:24:39Z) - Mobile Foundation Model as Firmware [13.225478051091763]
sysはモバイルOSとハードウェアの協調管理アプローチである。
公開されているLarge Language Models (LLM) のキュレートされた選択と、動的データフローの促進を両立させる。
タスクの85%で精度を同等にし、ストレージとメモリのスケーラビリティを改善し、十分な推論速度を提供する。
論文 参考訳(メタデータ) (2023-08-28T07:21:26Z) - MMBench: Is Your Multi-modal Model an All-around Player? [117.53230227207521]
大規模な視覚言語モデルを評価する方法は依然として大きな障害であり、将来のモデル開発を妨げる。
従来のベンチマークは、定量的なパフォーマンス測定を提供するが、きめ細かい能力評価と非破壊評価の指標が欠如している。
近年のOwlEvalのような主観的ベンチマークは、人間の労働を取り入れたモデル能力の包括的な評価を提供するが、それらはスケーラブルではなく、重大なバイアスを示す。
MMBenchは、視覚言語モデルの様々な能力を頑健に評価するための、体系的に設計された客観的ベンチマークである。
論文 参考訳(メタデータ) (2023-07-12T16:23:09Z) - Chakra: Advancing Performance Benchmarking and Co-design using
Standardized Execution Traces [5.692357167709513]
作業負荷仕様を標準化するためのオープングラフスキーマであるChakraを提案する。
例えば、生成AIモデルを使用して、何千ものChakra ETの潜在統計特性を学習し、これらのモデルを使用してChakra ETを合成します。
私たちのゴールは、将来のAIシステムの共同設計を推進するために、業界全体のアジャイルベンチマークとツールの活発なエコシステムを構築することです。
論文 参考訳(メタデータ) (2023-05-23T20:45:45Z) - On-device Training: A First Overview on Existing Systems [8.0653715405809]
リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。
この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
論文 参考訳(メタデータ) (2022-12-01T19:22:29Z) - DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。
私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。
ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
論文 参考訳(メタデータ) (2022-07-20T17:47:54Z) - Meta Matrix Factorization for Federated Rating Predictions [84.69112252208468]
フェデレートされたレコメンデーターシステムは、従来のレコメンデーターシステムよりもプライバシー保護という点で明確なアドバンテージを持っている。
フェデレートされたレコメンデータシステムに関するこれまでの研究は、モバイル環境におけるストレージ、RAM、エネルギ、通信帯域の制限を十分に考慮していない。
本研究の目的は,モバイル環境を対象としたレーティング予測(RP)のための新しい統合学習フレームワークを設計することである。
論文 参考訳(メタデータ) (2019-10-22T16:29:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。