論文の概要: LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms

• arxiv url: http://arxiv.org/abs/2311.11420v1
• Date: Sun, 19 Nov 2023 20:39:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 20:32:51.505909
• Title: LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms
• Title（参考訳）: LifeLearner:組み込みコンピューティングプラットフォームのためのハードウェア対応メタ継続学習システム
• Authors: Young D. Kwon, Jagmohan Chauhan, Hong Jia, Stylianos I. Venieris, and Cecilia Mascolo
• Abstract要約: 継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。 LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。 LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 17.031135153343502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) allows applications such as user personalization and household robots to learn on the fly and adapt to context. This is an important feature when context, actions, and users change. However, enabling CL on resource-constrained embedded systems is challenging due to the limited labeled data, memory, and computing capacity. In this paper, we propose LifeLearner, a hardware-aware meta continual learning system that drastically optimizes system resources (lower memory, latency, energy consumption) while ensuring high accuracy. Specifically, we (1) exploit meta-learning and rehearsal strategies to explicitly cope with data scarcity issues and ensure high accuracy, (2) effectively combine lossless and lossy compression to significantly reduce the resource requirements of CL and rehearsal samples, and (3) developed hardware-aware system on embedded and IoT platforms considering the hardware characteristics. As a result, LifeLearner achieves near-optimal CL performance, falling short by only 2.8% on accuracy compared to an Oracle baseline. With respect to the state-of-the-art (SOTA) Meta CL method, LifeLearner drastically reduces the memory footprint (by 178.7x), end-to-end latency by 80.8-94.2%, and energy consumption by 80.9-94.2%. In addition, we successfully deployed LifeLearner on two edge devices and a microcontroller unit, thereby enabling efficient CL on resource-constrained platforms where it would be impractical to run SOTA methods and the far-reaching deployment of adaptable CL in a ubiquitous manner. Code is available at https://github.com/theyoungkwon/LifeLearner.
• Abstract（参考訳）: 連続学習(continual learning, cl)は、ユーザのパーソナライゼーションや家庭用ロボットといったアプリケーションに対して、オンザフライで学習とコンテキスト適応を可能にする。 これはコンテキスト、アクション、ユーザが変更する場合に重要な機能です。 しかし、リソース制約のある組み込みシステムでCLを有効にすることは、ラベル付きデータ、メモリ、計算能力に制限があるため困難である。 本稿では,システムリソース(低メモリ,レイテンシ,エネルギー消費)を劇的に最適化し,高い精度を保ちながら,ハードウェアを意識したメタ連続学習システムlifelearnerを提案する。 具体的には,(1)データ不足問題に明示的に対処し,高い精度を確保するためのメタラーニングとリハーサル戦略,(2)損失のない圧縮を効果的に組み合わせてCLとリハーサルサンプルのリソース要求を大幅に削減する,(3)ハードウェア特性を考慮した組込みおよびIoTプラットフォーム上でのハードウェア認識システムを開発する。 その結果、lifelearnerは、oracleのベースラインと比較して精度が2.8%低下し、ほぼ最適のcl性能を達成している。 最先端(SOTA)メタCL法では、LifeLearnerはメモリフットプリントを(178.7x)大幅に削減し、エンドツーエンドのレイテンシを80.8-94.2%、エネルギー消費を80.9-94.2%削減した。 さらに、2つのエッジデバイスとマイクロコントローラユニットにLifeLearnerを配置し、リソース制約のあるプラットフォーム上で、SOTAメソッドの実行が不可能な効率的なCLと、適応可能なCLをユビキタスに極端に展開することを可能にする。 コードはhttps://github.com/theyoungkwon/lifelearnerで入手できる。

関連論文リスト

• Edge Unlearning is Not "on Edge"! An Adaptive Exact Unlearning System on Resource-Constrained Devices [26.939025828011196]
  忘れられる権利は、機械学習モデルがデータ所有者のデータと訓練されたモデルからの情報の消去を可能にすることを義務付ける。 本稿では,ネットワークエッジ(CAUSE)における制約対応適応エクササイズ学習システムを提案する。
  論文  参考訳（メタデータ） (2024-10-14T03:28:09Z)
• Efficient Continual Learning with Low Memory Footprint For Edge Device [6.818488262543482]
  本稿では,連続学習の忘れる問題を解くために,LightCLと呼ばれるコンパクトアルゴリズムを提案する。 まず,CLにおける可塑性学習とメモリ安定性の2つの新しい指標を提案する。 実験的な比較では、LightCLは忘れるのを遅らせる他のSOTAメソッドよりも優れており、最大$textbf6.16$times$$$メモリフットプリントを削減している。
  論文  参考訳（メタデータ） (2024-07-15T08:52:20Z)
• Learn it or Leave it: Module Composition and Pruning for Continual Learning [48.07144492109635]
  MoCL-Pは知識統合と計算オーバーヘッドのバランスをとる軽量な連続学習手法である。 評価の結果,MoCL-Pは最先端性能を実現し,パラメータ効率を最大3倍向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T19:18:28Z)
• CRSFL: Cluster-based Resource-aware Split Federated Learning for Continuous Authentication [5.636155173401658]
  分散学習(SL)とフェデレート学習(FL)は、分散機械学習(ML)モデルをトレーニングするための有望な技術として登場した。 我々はこれらの技術を組み合わせて、ユーザのプライバシーを保護しながら、継続的な認証課題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2024-05-12T06:08:21Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• SparCL: Sparse Continual Learning on the Edge [43.51885725281063]
  本稿では,エッジデバイス上でコスト効率のよい連続学習を実現するために,スパース連続学習(Sparse Continual Learning, SparCL)と呼ばれる新しいフレームワークを提案する。 SparCLは、重み空間、データ効率、勾配空間という3つの側面の相乗効果により、トレーニングの加速と精度の保存を両立させる。
  論文  参考訳（メタデータ） (2022-09-20T05:24:48Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)
• LIMITS: Lightweight Machine Learning for IoT Systems with Resource Limitations [8.647853543335662]
  我々は、IoTシステムのための新しいオープンソースのフレームワークLIghtweight Machine Learning(LIMITS)を紹介する。 LIMITSは、ターゲットIoTプラットフォームの実際のコンパイルツールチェーンを明示的に考慮した、プラットフォーム・イン・ザ・ループのアプローチを適用している。 LIMITSを携帯電話データレート予測と無線車種分類に応用し,その妥当性を検証した。
  論文  参考訳（メタデータ） (2020-01-28T06:34:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。