論文の概要: LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded
Computing Platforms
- arxiv url: http://arxiv.org/abs/2311.11420v1
- Date: Sun, 19 Nov 2023 20:39:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:32:51.505909
- Title: LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded
Computing Platforms
- Title(参考訳): LifeLearner:組み込みコンピューティングプラットフォームのためのハードウェア対応メタ継続学習システム
- Authors: Young D. Kwon, Jagmohan Chauhan, Hong Jia, Stylianos I. Venieris, and
Cecilia Mascolo
- Abstract要約: 継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。
LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。
LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 17.031135153343502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Learning (CL) allows applications such as user personalization and
household robots to learn on the fly and adapt to context. This is an important
feature when context, actions, and users change. However, enabling CL on
resource-constrained embedded systems is challenging due to the limited labeled
data, memory, and computing capacity. In this paper, we propose LifeLearner, a
hardware-aware meta continual learning system that drastically optimizes system
resources (lower memory, latency, energy consumption) while ensuring high
accuracy. Specifically, we (1) exploit meta-learning and rehearsal strategies
to explicitly cope with data scarcity issues and ensure high accuracy, (2)
effectively combine lossless and lossy compression to significantly reduce the
resource requirements of CL and rehearsal samples, and (3) developed
hardware-aware system on embedded and IoT platforms considering the hardware
characteristics. As a result, LifeLearner achieves near-optimal CL performance,
falling short by only 2.8% on accuracy compared to an Oracle baseline. With
respect to the state-of-the-art (SOTA) Meta CL method, LifeLearner drastically
reduces the memory footprint (by 178.7x), end-to-end latency by 80.8-94.2%, and
energy consumption by 80.9-94.2%. In addition, we successfully deployed
LifeLearner on two edge devices and a microcontroller unit, thereby enabling
efficient CL on resource-constrained platforms where it would be impractical to
run SOTA methods and the far-reaching deployment of adaptable CL in a
ubiquitous manner. Code is available at
https://github.com/theyoungkwon/LifeLearner.
- Abstract(参考訳): 連続学習(continual learning, cl)は、ユーザのパーソナライゼーションや家庭用ロボットといったアプリケーションに対して、オンザフライで学習とコンテキスト適応を可能にする。
これはコンテキスト、アクション、ユーザが変更する場合に重要な機能です。
しかし、リソース制約のある組み込みシステムでCLを有効にすることは、ラベル付きデータ、メモリ、計算能力に制限があるため困難である。
本稿では,システムリソース(低メモリ,レイテンシ,エネルギー消費)を劇的に最適化し,高い精度を保ちながら,ハードウェアを意識したメタ連続学習システムlifelearnerを提案する。
具体的には,(1)データ不足問題に明示的に対処し,高い精度を確保するためのメタラーニングとリハーサル戦略,(2)損失のない圧縮を効果的に組み合わせてCLとリハーサルサンプルのリソース要求を大幅に削減する,(3)ハードウェア特性を考慮した組込みおよびIoTプラットフォーム上でのハードウェア認識システムを開発する。
その結果、lifelearnerは、oracleのベースラインと比較して精度が2.8%低下し、ほぼ最適のcl性能を達成している。
最先端(SOTA)メタCL法では、LifeLearnerはメモリフットプリントを(178.7x)大幅に削減し、エンドツーエンドのレイテンシを80.8-94.2%、エネルギー消費を80.9-94.2%削減した。
さらに、2つのエッジデバイスとマイクロコントローラユニットにLifeLearnerを配置し、リソース制約のあるプラットフォーム上で、SOTAメソッドの実行が不可能な効率的なCLと、適応可能なCLをユビキタスに極端に展開することを可能にする。
コードはhttps://github.com/theyoungkwon/lifelearnerで入手できる。
関連論文リスト
- Lifelong Intelligence Beyond the Edge using Hyperdimensional Computing [7.837924033153]
LifeHDは、監視が限定された一般的なIoTアプリケーションのための、デバイス上での生涯学習システムである。
LifeHDは、最先端のNNベースの非教師なし学習ベースラインと比較して最大74.8%改善し、34.3倍のエネルギー効率を実現している。
論文 参考訳(メタデータ) (2024-03-07T18:56:33Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the
Ugly [66.19763977571114]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳(メタデータ) (2023-10-04T20:27:20Z) - Online Continual Learning Without the Storage Constraint [67.66235695269839]
我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。
高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。
2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
論文 参考訳(メタデータ) (2023-05-16T08:03:07Z) - Awesome-META+: Meta-Learning Research and Learning Platform [3.7381507346856524]
Awesome-META+は、完全で信頼性の高いメタラーニングフレームワークアプリケーションと学習プラットフォームである。
このプロジェクトはメタラーニングの発展とコミュニティの拡大を促進することを目的としている。
論文 参考訳(メタデータ) (2023-04-24T03:09:25Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳(メタデータ) (2023-03-20T14:50:27Z) - SparCL: Sparse Continual Learning on the Edge [43.51885725281063]
本稿では,エッジデバイス上でコスト効率のよい連続学習を実現するために,スパース連続学習(Sparse Continual Learning, SparCL)と呼ばれる新しいフレームワークを提案する。
SparCLは、重み空間、データ効率、勾配空間という3つの側面の相乗効果により、トレーニングの加速と精度の保存を両立させる。
論文 参考訳(メタデータ) (2022-09-20T05:24:48Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳(メタデータ) (2022-09-01T17:05:20Z) - On-Device Training Under 256KB Memory [65.76525493087847]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは、小さなIoTデバイス上での視覚認識のデバイス上での転送学習のための、最初の実用的なソリューションです。
論文 参考訳(メタデータ) (2022-06-30T17:59:08Z) - A TinyML Platform for On-Device Continual Learning with Quantized Latent
Replays [66.62377866022221]
Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。
10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。
これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
論文 参考訳(メタデータ) (2021-10-20T11:01:23Z) - Carousel Memory: Rethinking the Design of Episodic Memory for Continual
Learning [19.260402028696916]
継続的な学習(CL)は、以前のタスクから学んだ知識を忘れずに、連続したタスクストリームから学習することを目的としている。
以前の研究では、新しい非i.d.データから学習しながら、過去の観測されたサンプルのサブセットを格納するエピソードメモリ(EM)を利用している。
メモリとストレージ間のサンプルを効率よく移行させることにより,過去の経験を保存し,忘れを軽減すべく,豊富なストレージを活用することを提案する。
論文 参考訳(メタデータ) (2021-10-14T11:27:45Z) - LIMITS: Lightweight Machine Learning for IoT Systems with Resource
Limitations [8.647853543335662]
我々は、IoTシステムのための新しいオープンソースのフレームワークLIghtweight Machine Learning(LIMITS)を紹介する。
LIMITSは、ターゲットIoTプラットフォームの実際のコンパイルツールチェーンを明示的に考慮した、プラットフォーム・イン・ザ・ループのアプローチを適用している。
LIMITSを携帯電話データレート予測と無線車種分類に応用し,その妥当性を検証した。
論文 参考訳(メタデータ) (2020-01-28T06:34:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。