論文の概要: MLPerf Mobile Inference Benchmark

• arxiv url: http://arxiv.org/abs/2012.02328v2
• Date: Fri, 26 Feb 2021 14:34:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 15:55:15.380953
• Title: MLPerf Mobile Inference Benchmark
• Title（参考訳）: MLPerfモバイル推論ベンチマーク
• Authors: Vijay Janapa Reddi, David Kanter, Peter Mattson, Jared Duke, Thai Nguyen, Ramesh Chukka, Kenneth Shiring, Koan-Sin Tan, Mark Charlebois, William Chou, Mostafa El-Khamy, Jungwook Hong, Michael Buch, Cindy Trinh, Thomas Atta-fosu, Fatih Cakir, Masoud Charkhabi, Xiaodong Chen, Jimmy Chiang, Dave Dexter, Woncheol Heo, Guenther Schmuelling, Maryam Shabani, Dylan Zika
• Abstract要約: erferf Mobileは、業界メンバーと学術研究者によって開発された、業界標準のオープンソースモバイルベンチマークである。 まず,コンピュータビジョンと自然言語処理のための"out-of-the-box"推論性能ベンチマークをモバイルデバイス上で提供するアプリを開発した。
• 参考スコア（独自算出の注目度）: 11.883357894242668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MLPerf Mobile is the first industry-standard open-source mobile benchmark developed by industry members and academic researchers to allow performance/accuracy evaluation of mobile devices with different AI chips and software stacks. The benchmark draws from the expertise of leading mobile-SoC vendors, ML-framework providers, and model producers. In this paper, we motivate the drive to demystify mobile-AI performance and present MLPerf Mobile's design considerations, architecture, and implementation. The benchmark comprises a suite of models that operate under standard models, data sets, quality metrics, and run rules. For the first iteration, we developed an app to provide an "out-of-the-box" inference-performance benchmark for computer vision and natural-language processing on mobile devices. MLPerf Mobile can serve as a framework for integrating future models, for customizing quality-target thresholds to evaluate system performance, for comparing software frameworks, and for assessing heterogeneous-hardware capabilities for machine learning, all fairly and faithfully with fully reproducible results.
• Abstract（参考訳）: MLPerf Mobileは、業界メンバーと学術研究者が開発し、AIチップとソフトウェアスタックの異なるモバイルデバイスのパフォーマンス/精度評価を可能にする最初の業界標準のオープンソースモバイルベンチマークである。 このベンチマークは、主要なモバイルSoCベンダー、MLフレームワークプロバイダ、モデルプロデューサの専門知識から導かれる。 本稿では,モバイルAI性能のデミスティフィケーションを推進し,MLPerf Mobileの設計上の考慮事項,アーキテクチャ,実装について述べる。 ベンチマークは、標準モデル、データセット、品質メトリクス、そしてルールを実行する一連のモデルで構成されている。 第1回では,モバイルデバイス上でのコンピュータビジョンと自然言語処理のための"アウト・オブ・ボックス"な推論パフォーマンスベンチマークを提供するアプリを開発した。 MLPerf Mobileは、将来のモデルの統合、品質目標しきい値のカスタマイズ、システムパフォーマンスの評価、ソフトウェアフレームワークの比較、マシンラーニングの不均一なハードウェア能力の評価のためのフレームワークとして機能する。

関連論文リスト

• PalmBench: A Comprehensive Benchmark of Compressed Large Language Models on Mobile Platforms [11.87161637895978]
  ユーザがモバイルデバイス上で大きな言語モデルを評価することができる軽量でオールインワンな自動ベンチマークフレームワークを紹介します。 ハードウェア能力の異なる複数のモバイルプラットフォームに対して、様々な量子化構成(重みとアクティベーションの両方)の異なる様々な人気のあるLCMのベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-10-05T03:37:07Z)
• Large Language Model Performance Benchmarking on Mobile Platforms: A Thorough Evaluation [10.817783356090027]
  大規模言語モデル(LLM)は、私たちの仕事や日常生活のあらゆる側面にますます統合されています。 ユーザのプライバシに関する懸念が高まり、これらのモデルがローカルに展開される傾向が強まっている。 急速に普及しているアプリケーションとして、市販のモバイルデバイスのパフォーマンスを懸念しています。
  論文  参考訳（メタデータ） (2024-10-04T17:14:59Z)
• VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents [50.12414817737912]
  大規模マルチモーダルモデル(LMM)は、人工知能の新たな時代を迎え、言語と視覚の融合によって、高い能力を持つVisual Foundation Agentを形成する。 既存のベンチマークでは、複雑な実世界の環境でのLMMの可能性を十分に証明できない。 VisualAgentBench (VAB) は、視覚基礎エージェントとしてLMMを訓練し評価するための先駆的なベンチマークである。
  論文  参考訳（メタデータ） (2024-08-12T17:44:17Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
  モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。 MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
  論文  参考訳（メタデータ） (2024-06-12T22:58:12Z)
• MELTing point: Mobile Evaluation of Language Transformers [8.238355633015068]
  大規模言語モデル(LLM)のモバイル実行の現状について検討する。 我々は,デバイス上でのLLMのヘッドレス実行とベンチマークをサポートする,独自の自動化インフラストラクチャMELTを開発した。 我々は、一般的な命令の微調整 LLM を評価し、それぞれのフレームワークを用いてエンドツーエンドおよび粒度の性能を計測する。
  論文  参考訳（メタデータ） (2024-03-19T15:51:21Z)
• Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception [52.5831204440714]
  自律型マルチモーダルモバイルデバイスエージェントMobile-Agentを紹介する。 Mobile-Agentはまず視覚認識ツールを利用して、アプリのフロントエンドインターフェイス内の視覚的要素とテキスト的要素の両方を正確に識別し、特定する。 そして、複雑なオペレーションタスクを自律的に計画し、分解し、ステップバイステップでモバイルアプリをナビゲートする。
  論文  参考訳（メタデータ） (2024-01-29T13:46:37Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)
• Mobile-Env: Building Qualified Evaluation Benchmarks for LLM-GUI Interaction [28.53259866617677]
  Android モバイル環境で GUI ベンチマークを作成するための総合ツールキットである Mobile-Env を紹介した。 我々は、さまざまな現実世界のアプリにまたがるオープンワールドのタスクと、固定されたワールドセットWikiHowを収集し、大量の動的オンラインコンテンツをキャプチャする。 我々の研究結果によると、高度なモデルでさえ、人間にとって比較的簡単なタスクに苦しむことがわかった。
  論文  参考訳（メタデータ） (2023-05-14T12:31:03Z)
• Meta Matrix Factorization for Federated Rating Predictions [84.69112252208468]
  フェデレートされたレコメンデーターシステムは、従来のレコメンデーターシステムよりもプライバシー保護という点で明確なアドバンテージを持っている。 フェデレートされたレコメンデータシステムに関するこれまでの研究は、モバイル環境におけるストレージ、RAM、エネルギ、通信帯域の制限を十分に考慮していない。 本研究の目的は,モバイル環境を対象としたレーティング予測(RP)のための新しい統合学習フレームワークを設計することである。
  論文  参考訳（メタデータ） (2019-10-22T16:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。