論文の概要: msf-CNN: Patch-based Multi-Stage Fusion with Convolutional Neural Networks for TinyML

• arxiv url: http://arxiv.org/abs/2505.11483v1
• Date: Fri, 16 May 2025 17:47:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.777871
• Title: msf-CNN: Patch-based Multi-Stage Fusion with Convolutional Neural Networks for TinyML
• Title（参考訳）: msf-CNN: TinyMLのための畳み込みニューラルネットワークを用いたパッチベースのマルチステージフュージョン
• Authors: Zhaolan Huang, Emmanuel Baccelli,
• Abstract要約: 我々は畳み込みニューラルネットワーク(CNN)のための最適な融合設定を効率的に見つける新しい手法であるmsf-CNNを紹介する。 我々はmsf-CNNが従来の技術に比べて50%少ないRAMで推論できることを示す。
• 参考スコア（独自算出の注目度）: 0.4297070083645049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI spans from large language models to tiny models running on microcontrollers (MCUs). Extremely memory-efficient model architectures are decisive to fit within an MCU's tiny memory budget e.g., 128kB of RAM. However, inference latency must remain small to fit real-time constraints. An approach to tackle this is patch-based fusion, which aims to optimize data flows across neural network layers. In this paper, we introduce msf-CNN, a novel technique that efficiently finds optimal fusion settings for convolutional neural networks (CNNs) by walking through the fusion solution space represented as a directed acyclic graph. Compared to previous work on CNN fusion for MCUs, msf-CNN identifies a wider set of solutions. We published an implementation of msf-CNN running on various microcontrollers (ARM Cortex-M, RISC-V, ESP32). We show that msf-CNN can achieve inference using 50% less RAM compared to the prior art (MCUNetV2 and StreamNet). We thus demonstrate how msf-CNN offers additional flexibility for system designers.
• Abstract（参考訳）: AIは、大規模な言語モデルから、マイクロコントローラ(MCU)上で動作する小さなモデルにまたがる。 非常にメモリ効率のよいモデルアーキテクチャは、MCUの小さなメモリ予算、例えばRAMの128kBに適合する。 しかし、リアルタイムの制約に適合するためには、推論のレイテンシが小さくなければならない。 これに取り組むためのアプローチとして、ニューラルネットワーク層を越えたデータフローの最適化を目的とした、パッチベースのフュージョンがある。 本稿では,有向非巡回グラフとして表される融合解空間を歩くことで,畳み込みニューラルネットワーク(CNN)の最適融合設定を効率的に見つける新しい手法であるmsf-CNNを紹介する。 MCUのCNN融合に関する以前の研究と比較すると、msf-CNNはより広範なソリューションの集合を特定する。 我々は様々なマイクロコントローラ(ARM Cortex-M, RISC-V, ESP32)上で動作するmsf-CNNの実装を公表した。 我々は,msf-CNNが従来の技術(MCUNetV2,StreamNet)に比べて50%少ないRAMで推論できることを示す。 したがって、msf-CNNがシステムデザイナにさらなる柔軟性を提供することを示す。

関連論文リスト

• Scalable Mechanistic Neural Networks for Differential Equations and Machine Learning [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 計算時間と空間複雑度はそれぞれ、列長に関して立方体と二次体から線形へと減少する。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• MCU-MixQ: A HW/SW Co-optimized Mixed-precision Neural Network Design Framework for MCUs [9.719789698194154]
  ニューラルネットワーク処理に十分なデータ幅を利用する混合精度ニューラルネットワーク(MPNN)は、厳密なリソース制約を満たすための効果的なアプローチである。 しかし、MCUクラスのISAにはサブバイトと混合精度のSIMD操作がない。 本研究では,複数の低ビット幅演算を単一の命令多重データ(SIMD)命令にパックする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:51:15Z)
• Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
  スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。 本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-13T06:39:49Z)
• Resource Constrained Model Compression via Minimax Optimization for Spiking Neural Networks [11.19282454437627]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動型および高エネルギー効率ネットワークの特徴を持つ。 これらのネットワークをリソース制限されたエッジデバイスに直接展開することは困難である。 本稿では,このスパース学習問題に対するエンドツーエンドの Minimax 最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-08-09T02:50:15Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  多目的ベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ要求,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。