論文の概要: Tin-Tin: Towards Tiny Learning on Tiny Devices with Integer-based Neural Network Training

• arxiv url: http://arxiv.org/abs/2504.09405v1
• Date: Sun, 13 Apr 2025 02:21:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:50:35.135821
• Title: Tin-Tin: Towards Tiny Learning on Tiny Devices with Integer-based Neural Network Training
• Title（参考訳）: Tin-Tin: Integer-based Neural Network TrainingによるTiny DeviceのTiny Learningを目指して
• Authors: Yi Hu, Jinhang Zuo, Eddie Zhang, Bob Iannucci, Carlee Joe-Wong,
• Abstract要約: Tin-Tinは、低消費電力マイクロコントローラ(MCU)のための整数ベースのオンデバイストレーニングフレームワークである 本稿では,動的範囲を効率的に管理し,より効率的な重み更新を容易にする新しい整数再スケーリング手法を提案する。 実世界の小型デバイス上でのエンド・ツー・エンドアプリケーションによるTin-Tinの有効性を検証する。
• 参考スコア（独自算出の注目度）: 16.821900475733102
• License:
• Abstract: Recent advancements in machine learning (ML) have enabled its deployment on resource-constrained edge devices, fostering innovative applications such as intelligent environmental sensing. However, these devices, particularly microcontrollers (MCUs), face substantial challenges due to limited memory, computing capabilities, and the absence of dedicated floating-point units (FPUs). These constraints hinder the deployment of complex ML models, especially those requiring lifelong learning capabilities. To address these challenges, we propose Tin-Tin, an integer-based on-device training framework designed specifically for low-power MCUs. Tin-Tin introduces novel integer rescaling techniques to efficiently manage dynamic ranges and facilitate efficient weight updates using integer data types. Unlike existing methods optimized for devices with FPUs, GPUs, or FPGAs, Tin-Tin addresses the unique demands of tiny MCUs, prioritizing energy efficiency and optimized memory utilization. We validate the effectiveness of Tin-Tin through end-to-end application examples on real-world tiny devices, demonstrating its potential to support energy-efficient and sustainable ML applications on edge platforms.
• Abstract（参考訳）: 機械学習(ML)の最近の進歩は、リソースに制約のあるエッジデバイスへの展開を可能にし、インテリジェントな環境センシングのような革新的な応用を育んでいる。 しかし、これらのデバイス、特にマイクロコントローラ(MCU)は、メモリの制限、計算能力の制限、専用の浮動小数点ユニット(FPU)がないため、重大な課題に直面している。 これらの制約は、複雑なMLモデル、特に生涯学習能力を必要とするモデルのデプロイを妨げる。 これらの課題に対処するために、低消費電力のMCU向けに設計された整数ベースのオンデバイストレーニングフレームワークであるTin-Tinを提案する。 Tin-Tinは、動的範囲を効率的に管理し、整数データ型を使用した効率的な重み更新を容易にする新しい整数再スケーリング技術を導入した。 FPU、GPU、FPGAに最適化された既存の方法とは異なり、Tin-Tinは小さなMCUのユニークな要求に対処し、エネルギー効率を優先し、メモリ利用を最適化する。 実世界の小型デバイス上でのエンド・ツー・エンドアプリケーションの実例によるTin-Tinの有効性を検証するとともに,エッジプラットフォーム上でのエネルギー効率と持続可能なMLアプリケーションをサポートする可能性を示す。

関連論文リスト

• Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
  スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。 本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。 ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
  論文  参考訳（メタデータ） (2024-11-03T16:42:10Z)
• Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
  本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。 演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。 本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
  論文  参考訳（メタデータ） (2024-01-23T10:27:38Z)
• Efficient Neural Networks for Tiny Machine Learning: A Comprehensive Review [1.049712834719005]
  このレビューでは、効率的なニューラルネットワークの進歩と超低消費電力マイクロコントローラへのディープラーニングモデルの展開を詳細に分析する。 レビューの中核は、TinyMLの効率的なニューラルネットワークに焦点を当てている。 モデル圧縮、量子化、低ランク因数分解などのテクニックをカバーし、最小限のリソース利用のためにニューラルネットワークアーキテクチャを最適化する。 次に,超低消費電力MCU上でのディープラーニングモデルの展開について検討し,限られた計算能力やメモリ資源といった課題に対処する。
  論文  参考訳（メタデータ） (2023-11-20T16:20:13Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural Networks on Edge NPUs [74.83613252825754]
  スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。 これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。 そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
  論文  参考訳（メタデータ） (2022-09-27T15:04:01Z)
• Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications [46.97774949613859]
  ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。 本稿では,効率的なディープラーニング手法,システム,応用について概説する。
  論文  参考訳（メタデータ） (2022-04-25T16:52:48Z)
• FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
  本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。 この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。 分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
  論文  参考訳（メタデータ） (2022-01-18T13:59:22Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。