論文の概要: TinyTNAS: GPU-Free, Time-Bound, Hardware-Aware Neural Architecture Search for TinyML Time Series Classification

• arxiv url: http://arxiv.org/abs/2408.16535v1
• Date: Thu, 29 Aug 2024 13:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 13:42:55.045316
• Title: TinyTNAS: GPU-Free, Time-Bound, Hardware-Aware Neural Architecture Search for TinyML Time Series Classification
• Title（参考訳）: TinyTNAS: TinyML時系列分類のためのGPUフリー、タイムバウンド、ハードウェア対応ニューラルアーキテクチャ検索
• Authors: Bidyut Saha, Riya Samanta, Soumya K. Ghosh, Ram Babu Roy,
• Abstract要約: TinyTNASは,TinyML時系列分類に特化して設計された,ハードウェア対応の多目的ニューラルアーキテクチャ検索(NAS)ツールである。 GPU機能に依存する従来のNASメソッドとは異なり、TinyTNASはCPU上で効率的に動作し、幅広いアプリケーションにアクセスできる。 TinyTNASは、RAM、FLASH、MAC使用率、レイテンシを大幅に削減した最先端の精度を示している。
• 参考スコア（独自算出の注目度）: 6.9604565273682955
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work, we present TinyTNAS, a novel hardware-aware multi-objective Neural Architecture Search (NAS) tool specifically designed for TinyML time series classification. Unlike traditional NAS methods that rely on GPU capabilities, TinyTNAS operates efficiently on CPUs, making it accessible for a broader range of applications. Users can define constraints on RAM, FLASH, and MAC operations to discover optimal neural network architectures within these parameters. Additionally, the tool allows for time-bound searches, ensuring the best possible model is found within a user-specified duration. By experimenting with benchmark dataset UCI HAR, PAMAP2, WISDM, MIT BIH, and PTB Diagnostic ECG Databas TinyTNAS demonstrates state-of-the-art accuracy with significant reductions in RAM, FLASH, MAC usage, and latency. For example, on the UCI HAR dataset, TinyTNAS achieves a 12x reduction in RAM usage, a 144x reduction in MAC operations, and a 78x reduction in FLASH memory while maintaining superior accuracy and reducing latency by 149x. Similarly, on the PAMAP2 and WISDM datasets, it achieves a 6x reduction in RAM usage, a 40x reduction in MAC operations, an 83x reduction in FLASH, and a 67x reduction in latency, all while maintaining superior accuracy. Notably, the search process completes within 10 minutes in a CPU environment. These results highlight TinyTNAS's capability to optimize neural network architectures effectively for resource-constrained TinyML applications, ensuring both efficiency and high performance. The code for TinyTNAS is available at the GitHub repository and can be accessed at https://github.com/BidyutSaha/TinyTNAS.git.
• Abstract（参考訳）: 本稿では,TinyML時系列分類に特化して設計されたハードウェア対応多目的ニューラルアーキテクチャサーチ(NAS)ツールであるTinyTNASを紹介する。 GPU機能に依存する従来のNASメソッドとは異なり、TinyTNASはCPU上で効率的に動作し、幅広いアプリケーションにアクセスできる。 ユーザはRAM、FLASH、MAC操作の制約を定義して、これらのパラメータ内で最適なニューラルネットワークアーキテクチャを見つけることができる。 さらに、このツールはタイムバウンド検索を可能にし、ユーザーが指定した期間内に最高のモデルを見つけることができる。 UCI HAR、PAMAP2、WISDM、MIT BIH、TB診断ECG Databas TinyTNASのベンチマークデータセットを実験することで、RAM、FLASH、MAC使用率、レイテンシを大幅に削減した最先端の精度を実証することができる。 例えば、UCI HARデータセットでは、TinyTNASはRAM使用率の12倍、MAC操作の144倍、FLASHメモリの78倍、精度の向上とレイテンシの149倍の削減を実現している。 同様に、PAMAP2とWISDMデータセットでは、RAM使用量の6倍の削減、MAC操作の40倍の削減、FLASHの83倍の削減、レイテンシの67倍の削減を実現している。 特に、検索プロセスはCPU環境で10分以内に完了する。 これらの結果は、リソース制約のあるTinyMLアプリケーションに対して、ニューラルネットワークアーキテクチャを効果的に最適化するTinyTNASの機能を強調し、効率性と高性能を両立させる。 TinyTNASのコードはGitHubリポジトリから入手でき、https://github.com/BidyutSaha/TinyTNAS.gitでアクセスできる。

関連論文リスト

• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• FP-NAS: Fast Probabilistic Neural Architecture Search [49.21560787752714]
  PARSECのような確率的NASは高性能アーキテクチャ上の分布を学習し、単一のモデルをトレーニングするのに必要なメモリだけを使用する。 本稿では,分布エントロピーに適応したサンプリング手法を提案する。 FP-NAS(Fast Probabilistic NAS)はアーキテクチャを64%削減し、PARSECより2.1倍高速に検索できることを示す。
  論文  参考訳（メタデータ） (2020-11-22T06:10:05Z)
• $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers [15.517404770022633]
  IoTデバイスは、非常にリソースの少ないマイクロコントローラユニット(MCU)によって駆動される。 ニューラルアーキテクチャサーチ(NAS)システム($mu$NAS)を構築し、このような小型のパワーを持つMCUレベルのネットワークの設計を自動化する。 NASは、トップ1の分類精度を最大4.8%向上させるか、(b)メモリフットプリントを4-13x削減するか、(c)乗算累積演算数を少なくとも2倍削減することができる。
  論文  参考訳（メタデータ） (2020-10-27T12:42:53Z)
• MicroNets: Neural Network Architectures for Deploying TinyML Applications on Commodity Microcontrollers [18.662026553041937]
  リソース制約付きマイクロコントローラ(MCU)による機械学習は、IoT(Internet of Things)のアプリケーション領域を大幅に拡大することを約束する TinyMLは、ディープニューラルネットワーク推論が大きな計算とメモリの予算を必要とするため、深刻な技術的課題を提示している。 ニューラルネットワークサーチ(NAS)は、厳密なMCUメモリ、レイテンシ、エネルギー制約を満たす正確なMLモデルの設計を支援する。
  論文  参考訳（メタデータ） (2020-10-21T19:39:39Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• S3NAS: Fast NPU-aware Neural Architecture Search Methodology [2.607400740040335]
  S3NASと呼ばれる高速なNPU対応NAS手法を提案し,既存のNASよりも高精度なCNNアーキテクチャを提案する。 TPUv3を使って3時間でネットワークを見つけることができ、11.66ミリ秒のレイテンシでImageNetの82.72%のトップ1の精度を示している。
  論文  参考訳（メタデータ） (2020-09-04T04:45:50Z)
• MCUNet: Tiny Deep Learning on IoT Devices [62.752899523628066]
  効率的なニューラルネットワーク(TinyNAS)と軽量推論エンジン(TinyEngine)を共同で設計するフレームワークを提案する。 TinyNASは、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間におけるネットワークアーキテクチャを専門化する、2段階のニューラルネットワーク検索アプローチを採用している。 TinyEngineは、階層的に最適化するのではなく、全体的なネットワークトポロジに従ってメモリスケジューリングを適応し、メモリ使用量を4.8倍削減する。
  論文  参考訳（メタデータ） (2020-07-20T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。