論文の概要: Can LLMs Revolutionize the Design of Explainable and Efficient TinyML Models?

• arxiv url: http://arxiv.org/abs/2504.09685v1
• Date: Sun, 13 Apr 2025 18:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:27.445621
• Title: Can LLMs Revolutionize the Design of Explainable and Efficient TinyML Models?
• Title（参考訳）: LLMは説明可能かつ効率的なTinyMLモデルの設計に革命をもたらすか?
• Authors: Christophe El Zeinaty, Wassim Hamidouche, Glenn Herrou, Daniel Menard, Merouane Debbah,
• Abstract要約: 本稿では,小さな機械学習(TinyML)プラットフォームに特化して,効率的なニューラルネットワークアーキテクチャを設計するための新しいフレームワークを提案する。 大規模言語モデル(LLM)をニューラルネットワーク探索(NAS)、視覚変換器(ViT)ベースの知識蒸留(KD)戦略、説明可能性モジュールに活用することにより、精度、計算効率、メモリ使用率の最適なバランスをとることができる。
• 参考スコア（独自算出の注目度）: 8.953379216683736
• License:
• Abstract: This paper introduces a novel framework for designing efficient neural network architectures specifically tailored to tiny machine learning (TinyML) platforms. By leveraging large language models (LLMs) for neural architecture search (NAS), a vision transformer (ViT)-based knowledge distillation (KD) strategy, and an explainability module, the approach strikes an optimal balance between accuracy, computational efficiency, and memory usage. The LLM-guided search explores a hierarchical search space, refining candidate architectures through Pareto optimization based on accuracy, multiply-accumulate operations (MACs), and memory metrics. The best-performing architectures are further fine-tuned using logits-based KD with a pre-trained ViT-B/16 model, which enhances generalization without increasing model size. Evaluated on the CIFAR-100 dataset and deployed on an STM32H7 microcontroller (MCU), the three proposed models, LMaNet-Elite, LMaNet-Core, and QwNet-Core, achieve accuracy scores of 74.50%, 74.20% and 73.00%, respectively. All three models surpass current state-of-the-art (SOTA) models, such as MCUNet-in3/in4 (69.62% / 72.86%) and XiNet (72.27%), while maintaining a low computational cost of less than 100 million MACs and adhering to the stringent 320 KB static random-access memory (SRAM) constraint. These results demonstrate the efficiency and performance of the proposed framework for TinyML platforms, underscoring the potential of combining LLM-driven search, Pareto optimization, KD, and explainability to develop accurate, efficient, and interpretable models. This approach opens new possibilities in NAS, enabling the design of efficient architectures specifically suited for TinyML.
• Abstract（参考訳）: 本稿では,小さな機械学習(TinyML)プラットフォームに特化して,効率的なニューラルネットワークアーキテクチャを設計するための新しいフレームワークを提案する。 大規模言語モデル(LLM)をニューラルネットワーク探索(NAS)、視覚変換器(ViT)ベースの知識蒸留(KD)戦略、説明可能性モジュールに活用することにより、精度、計算効率、メモリ使用率の最適なバランスをとることができる。 LLM誘導探索は階層的な探索空間を探索し、精度、乗算演算(MAC)、メモリメトリクスに基づいてパレート最適化により候補アーキテクチャを精査する。 最適性能のアーキテクチャは、モデルサイズを増大させることなく一般化を向上する、事前訓練されたViT-B/16モデルによるロジットベースのKDにより、さらに微調整される。 CIFAR-100データセットに基づいて評価し、STM32H7マイクロコントローラ(MCU)上にデプロイした3つのモデル(LMaNet-Elite、LMaNet-Core、QwNet-Core)は、それぞれ74.50%、74.20%、73.00%の精度スコアを得る。 MCUNet-in3/in4 (69.62% / 72.86%) や XiNet (72.27%) といった現行のSOTAモデルを超えるが、計算コストは1億MAC未満であり、320KBの静的ランダムアクセスメモリ (SRAM) の制約に固執している。 これらの結果から,提案するTinyMLプラットフォーム用フレームワークの有効性と性能を実証し,LLM駆動探索,Pareto最適化,KD,そして正確な,効率的,解釈可能なモデルを開発するための説明可能性について考察した。 このアプローチはNASの新たな可能性を開き、TinyMLに特化した効率的なアーキテクチャの設計を可能にする。

関連論文リスト

• Fast Data Aware Neural Architecture Search via Supernet Accelerated Evaluation [0.43550340493919387]
  TinyML(TinyML)は、医療、環境モニタリング、産業保守といった分野に革命をもたらすことを約束している。 TinyMLデプロイメントの成功に必要な複雑な最適化は、広く採用されていることを妨げ続けている。 本稿では,最新のデータ認識ニューラルアーキテクチャ検索手法を提案し,新しいTinyML VisionWakeデータセットの有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-18T09:51:03Z)
• Building Efficient Lightweight CNN Models [0.0]
  畳み込みニューラルネットワーク(CNN)は、その堅牢な特徴抽出能力のため、画像分類タスクにおいて重要である。 本稿では,競争精度を維持しつつ軽量CNNを構築する手法を提案する。 提案モデルは手書き文字MNISTで99%,ファッションMNISTで89%,パラメータは14,862,モデルサイズは0.17MBであった。
  論文  参考訳（メタデータ） (2025-01-26T14:39:01Z)
• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices [88.33936714942996]
  アインシュタイン和を通じて表現可能なすべての線形作用素の探索を可能にする統一フレームワークを提案する。 計算-最適スケーリング法則の違いは主に少数の変数によって支配されていることを示す。 そこで,Mixture-of-Experts (MoE) は,注目ブロックの投影を含む,モデルのすべての線形層におけるMoEを学習する。
  論文  参考訳（メタデータ） (2024-10-03T00:44:50Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  多目的ベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ要求,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。