論文の概要: etuner: Redundancy-Aware Efficient Continual Learning on Edge Devices
- arxiv url: http://arxiv.org/abs/2401.16694v4
- Date: Tue, 13 Aug 2024 07:12:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 22:55:00.636683
- Title: etuner: Redundancy-Aware Efficient Continual Learning on Edge Devices
- Title(参考訳): エッジデバイス上での冗長性を考慮した継続的学習
- Authors: Sheng Li, Geng Yuan, Yawen Wu, Yue Dai, Tianyu Wang, Chao Wu, Alex K. Jones, Jingtong Hu, Yanzhi Wang, Xulong Tang,
- Abstract要約: 推論精度、微調整実行時間、エネルギー効率を最適化する効率的なエッジ連続学習フレームワークであるETunerを提案する。
実験結果から,ETunerは全体の微調整実行時間を64%削減し,エネルギー消費量を56%削減し,即時モデル微調整アプローチよりも平均推定精度を1.75%向上した。
- 参考スコア(独自算出の注目度): 47.365775210055396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many emerging applications, such as robot-assisted eldercare and object recognition, generally employ deep learning neural networks (DNNs) and require the deployment of DNN models on edge devices. These applications naturally require i) handling streaming-in inference requests and ii) fine-tuning the deployed models to adapt to possible deployment scenario changes. Continual learning (CL) is widely adopted to satisfy these needs. CL is a popular deep learning paradigm that handles both continuous model fine-tuning and overtime inference requests. However, an inappropriate model fine-tuning scheme could involve significant redundancy and consume considerable time and energy, making it challenging to apply CL on edge devices. In this paper, we propose ETuner, an efficient edge continual learning framework that optimizes inference accuracy, fine-tuning execution time, and energy efficiency through both inter-tuning and intra-tuning optimizations. Experimental results show that, on average, ETuner reduces overall fine-tuning execution time by 64%, energy consumption by 56%, and improves average inference accuracy by 1.75% over the immediate model fine-tuning approach.
- Abstract(参考訳): ロボット支援の高齢者ケアやオブジェクト認識など、多くの新興アプリケーションでは、一般的にディープラーニングニューラルネットワーク(DNN)を採用し、エッジデバイスにDNNモデルをデプロイする必要がある。
これらの応用は自然に必要です
一 ストリーミングの推論要求の処理及び処理
二 デプロイ可能なシナリオの変更に対応するために、デプロイされたモデルを微調整すること。
継続的な学習(CL)はこれらのニーズを満たすために広く採用されている。
CLは、継続的モデルの微調整とオーバータイム推論の両方を処理できる人気のあるディープラーニングパラダイムである。
しかし、不適切なモデル微調整方式は、かなりの冗長性を伴い、かなりの時間とエネルギーを消費する可能性があるため、エッジデバイスにCLを適用することは困難である。
本稿では,推論精度,微調整実行時間,エネルギー効率を最適化する効率的なエッジ連続学習フレームワークであるETunerを提案する。
実験結果から,ETunerは全体の微調整実行時間を64%削減し,エネルギー消費量を56%削減し,即時モデル微調整アプローチよりも平均推定精度を1.75%向上した。
関連論文リスト
- EON-1: A Brain-Inspired Processor for Near-Sensor Extreme Edge Online Feature Extraction [32.343120409334475]
EON-1は脳にインスパイアされた、極端端端のオンライン特徴抽出のためのプロセッサである。
学習に要するエネルギーオーバーヘッドは1%に過ぎず,他のSoTAソリューションと比較した場合のオーバーヘッドは極端に低い。
論文 参考訳(メタデータ) (2024-06-25T05:23:41Z) - Efficient Post-Training Augmentation for Adaptive Inference in
Heterogeneous and Distributed IoT Environments [4.343246899774834]
Early Exit Neural Networks (EENN)は、ニューラルネットワークのデプロイメントの効率を高めるソリューションを提供する。
本稿では,既存のモデルをEENNに変換することに焦点を当てた自動拡張フローを提案する。
本フレームワークはEENNアーキテクチャを構築し,そのサブグラフをハードウェアターゲットにマップし,その決定機構を構成する。
論文 参考訳(メタデータ) (2024-03-12T08:27:53Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - On the fly Deep Neural Network Optimization Control for Low-Power
Computer Vision [0.0]
最先端のコンピュータビジョン技術は、リソース制約のあるエッジデバイスにデプロイするには電力不足の大規模なディープニューラルネットワーク(DNN)に依存している。
本稿では,DNNが再学習を必要とせずに,実行時の精度とエネルギー消費に適応できる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-04T21:26:26Z) - Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with
Online Learning [60.17407932691429]
基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。
本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。
提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
論文 参考訳(メタデータ) (2023-09-04T17:30:21Z) - Online Learning for Orchestration of Inference in Multi-User
End-Edge-Cloud Networks [3.6076391721440633]
ディープラーニングのためのコラボレーション型のエッジクラウドコンピューティングは、さまざまなパフォーマンスと効率を提供する。
本稿では、最適オフロードポリシーを学習する強化学習に基づく計算オフロードソリューションを提案する。
我々のソリューションは、平均応答時間において、0.9%未満の精度で、最先端技術と比較して35%のスピードアップを提供する。
論文 参考訳(メタデータ) (2022-02-21T21:41:29Z) - NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of
Models [90.6485663020735]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。
我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
論文 参考訳(メタデータ) (2021-08-07T12:03:14Z) - Multi-Exit Semantic Segmentation Networks [78.44441236864057]
本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。
パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。
接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
論文 参考訳(メタデータ) (2021-06-07T11:37:03Z) - SASL: Saliency-Adaptive Sparsity Learning for Neural Network
Acceleration [20.92912642901645]
そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。
ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
論文 参考訳(メタデータ) (2020-03-12T16:49:37Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2~5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳(メタデータ) (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。