論文の概要: Benchmarking TinyML Systems: Challenges and Direction

• arxiv url: http://arxiv.org/abs/2003.04821v4
• Date: Fri, 29 Jan 2021 21:21:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 21:47:03.004667
• Title: Benchmarking TinyML Systems: Challenges and Direction
• Title（参考訳）: TinyMLシステムのベンチマーク: 課題と方向性
• Authors: Colby R. Banbury, Vijay Janapa Reddi, Max Lam, William Fu, Amin Fazel, Jeremy Holleman, Xinyuan Huang, Robert Hurtado, David Kanter, Anton Lokhmotov, David Patterson, Danilo Pau, Jae-sun Seo, Jeff Sieracki, Urmish Thakker, Marian Verhelst, Poonam Yadav
• Abstract要約: 我々は、TinyMLの現在の状況を説明し、TinyMLワークロードのための公平で有用なハードウェアベンチマークを開発するための課題と方向性について論じる。 私たちの視点は、30以上の組織から構成されるTinyMLPerfワーキンググループの集合的思考を反映しています。
• 参考スコア（独自算出の注目度）: 10.193715318589812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in ultra-low-power machine learning (TinyML) hardware promises to unlock an entirely new class of smart applications. However, continued progress is limited by the lack of a widely accepted benchmark for these systems. Benchmarking allows us to measure and thereby systematically compare, evaluate, and improve the performance of systems and is therefore fundamental to a field reaching maturity. In this position paper, we present the current landscape of TinyML and discuss the challenges and direction towards developing a fair and useful hardware benchmark for TinyML workloads. Furthermore, we present our four benchmarks and discuss our selection methodology. Our viewpoints reflect the collective thoughts of the TinyMLPerf working group that is comprised of over 30 organizations.
• Abstract（参考訳）: 超低消費電力機械学習(TinyML)ハードウェアの最近の進歩は、まったく新しいタイプのスマートアプリケーションをアンロックすることを約束している。 しかし、これらのシステムに対する広く受け入れられているベンチマークが欠如しているため、継続的な進歩は限られている。 ベンチマークにより、システムの性能を計測し、体系的に比較し、評価し、改善することができる。 本稿では、TinyMLの現在の状況を説明し、TinyMLワークロードのための公平で有用なハードウェアベンチマークを開発するための課題と方向性について論じる。 さらに,4つのベンチマークを提示し,選択手法について考察する。 当社の視点は,30以上の組織からなるtinymlperfワーキンググループの集団的思考を反映している。

関連論文リスト

• DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
  本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。 我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。 実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
  論文  参考訳（メタデータ） (2024-07-15T13:17:42Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• InfiMM-Eval: Complex Open-Ended Reasoning Evaluation For Multi-Modal Large Language Models [50.03163753638256]
  MLLM(Multi-modal Large Language Models)は人工知能の分野で注目されている。 本ベンチマークは, 帰納的, 帰納的, 類推的推論の3つの主要な推論カテゴリから構成される。 我々は,この厳密に開発されたオープンエンド多段階精巧な推論ベンチマークを用いて,代表MLLMの選択を評価する。
  論文  参考訳（メタデータ） (2023-11-20T07:06:31Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)
• MLonMCU: TinyML Benchmarking with Fast Retargeting [1.4319942396517]
  特定のアプリケーションに対して、フレームワークとターゲットの最適な組み合わせを選択するのは簡単ではありません。 MLonMCUと呼ばれるツールが提案され,最新のTinyMLフレームワークであるTFLite for MicrocontrollersとTVMのベンチマークによって実証されている。
  論文  参考訳（メタデータ） (2023-06-15T08:44:35Z)
• Intelligence at the Extreme Edge: A Survey on Reformable TinyML [0.0]
  分離が容易な新しい分類法の提案により,改良可能なTinyMLソリューションに関する調査を行った。 TinyMLのワークフローを調査し、特定されたデプロイメントスキームと利用可能なベンチマークツールを分析します。
  論文  参考訳（メタデータ） (2022-04-02T09:53:36Z)
• TinyML Platforms Benchmarking [0.0]
  機械学習(ML)のための超低消費電力組み込みデバイス(Ultra-low Power embedded device)の最近の進歩は、新しい種類の製品を可能にしている。 TinyMLは、低消費電力の組み込みデバイス上でエッジでデータを集約して分析することで、ユニークなソリューションを提供する。 MLモデルのデプロイを容易にするため、さまざまなプラットフォーム向けに多くのTinyMLフレームワークが開発されている。
  論文  参考訳（メタデータ） (2021-11-30T15:26:26Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• MLPerf Tiny Benchmark [1.1178096184080788]
  我々は、超低消費電力の小さな機械学習システムのための業界標準ベンチマークスイートであるTinyerf Tinyを紹介する。 Tinyerf Tinyは、機械学習推論の正確性、レイテンシ、エネルギーを測定し、システム間のトレードオフを適切に評価する。
  論文  参考訳（メタデータ） (2021-06-14T17:05:17Z)
• Exploring and Analyzing Machine Commonsense Benchmarks [0.13999481573773073]
  我々は、これらのアプローチのメタデータを調整するための共通の語彙の欠如は、システムの欠陥を理解するための努力で研究者を制限します。 ベンチマークメタデータを形式化する一般的な語彙であるMCS Benchmark Ontologyについて説明します。
  論文  参考訳（メタデータ） (2020-12-21T19:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。