論文の概要: MLPerf Tiny Benchmark
- arxiv url: http://arxiv.org/abs/2106.07597v1
- Date: Mon, 14 Jun 2021 17:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:32:53.678205
- Title: MLPerf Tiny Benchmark
- Title(参考訳): MLPerf Tinyベンチマーク
- Authors: Colby Banbury, Vijay Janapa Reddi, Peter Torelli, Jeremy Holleman, Nat
Jeffries, Csaba Kiraly, Pietro Montino, David Kanter, Sebastian Ahmed, Danilo
Pau, Urmish Thakker, Antonio Torrini, Peter Warden, Jay Cordaro, Giuseppe Di
Guglielmo, Javier Duarte, Stephen Gibellini, Videet Parekh, Honson Tran, Nhan
Tran, Niu Wenxu, Xu Xuesong
- Abstract要約: 我々は、超低消費電力の小さな機械学習システムのための業界標準ベンチマークスイートであるTinyerf Tinyを紹介する。
Tinyerf Tinyは、機械学習推論の正確性、レイテンシ、エネルギーを測定し、システム間のトレードオフを適切に評価する。
- 参考スコア(独自算出の注目度): 1.1178096184080788
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advancements in ultra-low-power tiny machine learning (TinyML) systems
promise to unlock an entirely new class of smart applications. However,
continued progress is limited by the lack of a widely accepted and easily
reproducible benchmark for these systems. To meet this need, we present MLPerf
Tiny, the first industry-standard benchmark suite for ultra-low-power tiny
machine learning systems. The benchmark suite is the collaborative effort of
more than 50 organizations from industry and academia and reflects the needs of
the community. MLPerf Tiny measures the accuracy, latency, and energy of
machine learning inference to properly evaluate the tradeoffs between systems.
Additionally, MLPerf Tiny implements a modular design that enables benchmark
submitters to show the benefits of their product, regardless of where it falls
on the ML deployment stack, in a fair and reproducible manner. The suite
features four benchmarks: keyword spotting, visual wake words, image
classification, and anomaly detection.
- Abstract(参考訳): 超低消費電力の小さな機械学習(TinyML)システムの進歩は、まったく新しいタイプのスマートアプリケーションをアンロックすることを約束する。
しかし、これらのシステムに対する広く受け入れられ、容易に再現可能なベンチマークが欠如しているため、継続的な進歩は限られている。
このニーズを満たすために、超低消費電力の小型機械学習システムのための業界標準ベンチマークスイートであるmlperf tinyを紹介します。
ベンチマークスイートは、業界や学界から50以上の組織による協力作業であり、コミュニティのニーズを反映している。
MLPerf Tinyは、機械学習推論の正確性、レイテンシ、エネルギーを測定し、システム間のトレードオフを適切に評価する。
さらに、MLPerf Tinyは、ベンチマーク提出者がMLデプロイメントスタックのどこに落ちても、公平かつ再現可能な方法で、製品のメリットを示すことができるモジュール設計を実装している。
このスイートには、キーワードスポッティング、視覚覚醒語、画像分類、異常検出の4つのベンチマークがある。
関連論文リスト
- SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks [75.12666425091702]
大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - Is ChatGPT Good at Search? Investigating Large Language Models as
Re-Ranking Agents [56.104476412839944]
大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。
本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。
LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。
実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
論文 参考訳(メタデータ) (2023-04-19T10:16:03Z) - TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。
Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文 参考訳(メタデータ) (2023-04-11T13:11:10Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - TinyML Platforms Benchmarking [0.0]
機械学習(ML)のための超低消費電力組み込みデバイス(Ultra-low Power embedded device)の最近の進歩は、新しい種類の製品を可能にしている。
TinyMLは、低消費電力の組み込みデバイス上でエッジでデータを集約して分析することで、ユニークなソリューションを提供する。
MLモデルのデプロイを容易にするため、さまざまなプラットフォーム向けに多くのTinyMLフレームワークが開発されている。
論文 参考訳(メタデータ) (2021-11-30T15:26:26Z) - MLHarness: A Scalable Benchmarking System for MLCommons [16.490366217665205]
MLCommons推論のためのスケーラブルなベンチマークハーネスシステムを提案する。
MLCommons Inferenceによって定義された標準ベンチマークプロセスをコーデレートする。
モデル開発者がモデルとデータセットをMLCommons Inferenceにコントリビュートするための、簡単で宣言的なアプローチを提供する。
論文 参考訳(メタデータ) (2021-11-09T16:11:49Z) - The Benchmark Lottery [114.43978017484893]
ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。
アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
論文 参考訳(メタデータ) (2021-07-14T21:08:30Z) - MLDemon: Deployment Monitoring for Machine Learning Systems [10.074466859579571]
ML Deployment Monitoritoring のための新しいアプローチ MLDemon を提案します。
MLDemonはラベル付けされていない機能と少数のオンデマンドラベル付きサンプルを統合して、リアルタイムの見積を生成する。
多様な分布のドリフトとモデルを持つ時間データセットでは、MLDemonは既存のモニタリングアプローチを大幅に上回っている。
論文 参考訳(メタデータ) (2021-04-28T07:59:10Z) - Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。
本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。
特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文 参考訳(メタデータ) (2020-12-03T02:07:43Z) - Benchmarking TinyML Systems: Challenges and Direction [10.193715318589812]
我々は、TinyMLの現在の状況を説明し、TinyMLワークロードのための公平で有用なハードウェアベンチマークを開発するための課題と方向性について論じる。
私たちの視点は、30以上の組織から構成されるTinyMLPerfワーキンググループの集合的思考を反映しています。
論文 参考訳(メタデータ) (2020-03-10T15:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。