論文の概要: From Compression to Deployment: Real-Time and Energy-Efficient FastGRNN on Ultra-Constrained Microcontrollers

• arxiv url: http://arxiv.org/abs/2606.17249v1
• Date: Mon, 15 Jun 2026 19:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.1222
• Title: From Compression to Deployment: Real-Time and Energy-Efficient FastGRNN on Ultra-Constrained Microcontrollers
• Title（参考訳）: 圧縮から展開へ:超制約マイクロコントローラ上でのリアルタイムかつエネルギー効率の良いFastGRNN
• Authors: Emre Can Kizilates,
• Abstract要約: 本稿では、2つのベアメタルターゲット上に配置されたコンパクトゲートセルであるFastGRNNのエンドツーエンドのオープンソース再生について述べる。 このモデルは重量566バイトを占め、HAPTテストセット上でマクロF1 = 0.918(シード0; 5シードQ15は0.853+-0.107)を達成する。 どちらのプラットフォームも、リアルタイム50Hzのストリーミング推論(Arduinoでは9.21ms、MSP430では13ms)を維持しており、256エントリのシグモイド/タンのルックアップテーブルは30.5倍のスピードアップを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dominant trajectory of modern machine learning has been to scale up: larger models, larger accelerators, larger memory budgets. Yet a multi-year global semiconductor supply constraint and the growing energy and carbon cost of always-online inference expose the fragility of this trajectory and motivate the opposite direction: refactoring AI and ML algorithms to fit the small, ubiquitous microcontrollers already in mass production in wearables, sensors, and edge appliances. We present an end-to-end open-source reproduction of FastGRNN, a compact gated recurrent cell, deployed on two bare-metal targets: the 8-bit Arduino (ATmega328P) and the 16-bit MSP430 (no hardware multiplier; 16 KB Flash; 512 B SRAM). Our compression pipeline combines low-rank weight factorization, iterative hard-thresholding sparsity, and per-tensor Q15 post-training quantization with explicit activation calibration. The deployed model occupies 566 bytes of weights and achieves macro F1 = 0.918 (seed 0; five-seed Q15 mean 0.853+-0.107) on the HAPT test set. It matches a PyTorch reference at 100% prediction agreement across 3,399 test windows (MCU seed 0; 99.91-100% C-equivalent across five seeds). Both platforms sustain real-time 50 Hz streaming inference (9.21 ms per sample on Arduino; 13 ms on MSP430), where a 256-entry sigmoid/tanh look-up table delivers a 30.5x speedup on the multiplier-less MSP430. Four contributions extend the original FastGRNN paper: (i) cross-platform bit-equivalent deterministic inference; (ii) characterization of recurrent warm-up latency (median 74 samples, 1.48 s; worst-case 125 samples, 2.50 s over 100 test windows); (iii) a deployable look-up-table recipe for multiplier-less embedded targets; and (iv) hardware energy characterization showing 17.7 mW active inference power, <0.09 mW idle power, and 96.7% energy reduction with the LUT.
• Abstract（参考訳）: 現代の機械学習の主要な軌道は、より大きなモデル、より大きなアクセラレータ、より大きなメモリ予算である。 しかし、多年にわたるグローバル半導体供給の制約と、常時推論のエネルギーと炭素コストの増大は、この軌道の脆弱さを露呈し、反対の方向を動機付けている:AIとMLアルゴリズムをリファクタリングして、すでにウェアラブル、センサー、エッジ機器で大量生産されている小さなユビキタスマイクロコントローラに適合させる。 我々は,8ビットArduino (ATmega328P) と16ビット MSP430 (ハードウェア乗算器なし,16KB Flash, 512B SRAM) の2つのベアメタルターゲット上に展開された,コンパクトゲートリカレントセルであるFastGRNNのエンドツーエンドのオープンソース再生について述べる。 我々の圧縮パイプラインは、低ランクの重み係数化、繰り返しハードスレッディング間隔、およびアクティベーションキャリブレーションによるテンソル毎Q15ポストトレーニング量子化を組み合わせたものである。 展開されたモデルは重量566バイトを占有し、HAPTテストセット上でマクロF1 = 0.918(シード0; 5シードQ15は0.853+-0.107)を達成する。 これは、3,399のテストウィンドウ(MCU seed 0; 99.91-100% C-equivalent across 5 seed)で100%予測されたPyTorch参照と一致している。 どちらのプラットフォームも、実時間50Hzのストリーミング推論(Arduinoでは9.21ミリ秒、MSP430では13ミリ秒)を維持しており、256エントリのシグモイド/タンのルックアップテーブルは乗算器レスのMSP430で30.5倍のスピードアップを提供する。 4つのコントリビューションは、オリジナルのFastGRNNの論文を拡張している。 (i)クロスプラットフォームビット等価決定論的推論 (二)繰り返しウォームアップ遅延の特性(中間74サンプル、1.48秒、最悪の125サンプル、2.50秒以上のテストウィンドウ) 三 乗算器なし組込み目標のための展開可能なルックアップテーブルのレシピ (4) ハードウェアのエネルギー特性は、17.7mWのアクティブな推論パワー、0.09mWのアイドルパワー、96.7%のエネルギーをLUTで還元する。

関連論文リスト

• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Once-for-All Channel Mixers (HYPERTINYPW): Generative Compression for TinyML [0.0]
  提案するHYPER-TINYPWは圧縮・アズ・ジェネレーション方式で、ほとんどのPW重みを生成された重みに置き換える。 共有マイクロMLPは、レイヤごとの小さなコードからロード時に一度PWカーネルを合成し、それらをキャッシュし、標準的な整数演算子で実行する。 商用のMCUランタイムを保存し、ワンオフでのみ追加する。
  論文  参考訳（メタデータ） (2026-03-26T01:08:52Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• TinyML Enhances CubeSat Mission Capabilities [8.462623779881566]
  本稿では,画像分類のための畳み込みニューラルネットワーク(ConvNets)モデル最適化と配置パイプラインを提案する。 我々のパイプラインは、構造化された反復プルーニング、後のINT8量子化、および圧縮モデルへのハードウェア対応オペレータマッピングを統合している。 最適化されたモデルでは、RAM使用率89.55%、フラッシュメモリ709%の平均的な削減が示されている。
  論文  参考訳（メタデータ） (2026-03-20T17:51:07Z)
• GPT-OSS-20B: A Comprehensive Deployment-Centric Analysis of OpenAI's Open-Weight Mixture of Experts Model [7.2566101637741545]
  GPT-OSS-20B (Mixture-of-Experts; 20.9B total, approx.3.61B active) を高密度ベースラインQwen3-32BとYi-34Bに対して評価した。 パラメータの17.3%がアクティブ(3.61Bは20.9B)であり、GPT-OSS-20Bはデコードスループットが31.8%高く、1000個のトークン当たりのエネルギーが25.8%低い。
  論文  参考訳（メタデータ） (2025-08-22T03:37:27Z)
• Optimizing the Deployment of Tiny Transformers on Low-Power MCUs [12.905978154498499]
  この作業は、商用MCU上でのエンコーダTiny Transformersの柔軟性とマルチプラットフォームデプロイメントの実現と最適化を目的としている。 我々のフレームワークは、データの再利用を最大化し、重要な注意ブロックにデータマーシャリング操作を避けるために、カーネルの最適化ライブラリを提供する。 MHSA深度優先のタイリング方式はメモリピークを最大6.19倍に減らし、融合重み付けはランタイムを1.53倍減らし、パラメータ数を25%減らすことを示した。
  論文  参考訳（メタデータ） (2024-04-03T14:14:08Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)
• Ultra-low Power Deep Learning-based Monocular Relative Localization Onboard Nano-quadrotors [64.68349896377629]
  この研究は、2つのピアナノドロンのディープニューラルネットワーク(DNN)を介して、単分子の相対的な局所化に対処する、新しい自律的なエンドツーエンドシステムを示す。 超制約ナノドローンプラットフォームに対処するため,データセットの増大,量子化,システム最適化などを含む垂直統合フレームワークを提案する。 実験の結果,DNNは低分解能モノクローム画像のみを用いて最大2mの距離で10cmのターゲットナノドローンを正確に局在させることができることがわかった。
  論文  参考訳（メタデータ） (2023-03-03T14:14:08Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。