論文の概要: FastICARL: Fast Incremental Classifier and Representation Learning with
Efficient Budget Allocation in Audio Sensing Applications
- arxiv url: http://arxiv.org/abs/2106.07268v1
- Date: Mon, 14 Jun 2021 09:42:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:34:32.370277
- Title: FastICARL: Fast Incremental Classifier and Representation Learning with
Efficient Budget Allocation in Audio Sensing Applications
- Title（参考訳）: FastICARL: 音声センシングにおける効率的な予算割当を用いた高速インクリメンタル分類と表現学習
- Authors: Young D. Kwon, Jagmohan Chauhan, and Cecilia Mascolo
- Abstract要約: 様々なインクリメンタルラーニング(IL)アプローチが提案され、ディープラーニングモデルが新しいタスク/クラスを継続的に学習するのに役立つ。
FastICARLは、先進的なILと量子化を組み込んだ、エンドツーエンドでオンデバイスなILフレームワークである。
我々は,FastICARLにより,IL時間を78～92%,ストレージ要件を2～4倍に削減できることを示した。
- 参考スコア（独自算出の注目度）: 9.41194628154927
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various incremental learning (IL) approaches have been proposed to help deep
learning models learn new tasks/classes continuously without forgetting what
was learned previously (i.e., avoid catastrophic forgetting). With the growing
number of deployed audio sensing applications that need to dynamically
incorporate new tasks and changing input distribution from users, the ability
of IL on-device becomes essential for both efficiency and user privacy.
However, prior works suffer from high computational costs and storage demands
which hinders the deployment of IL on-device. In this work, to overcome these
limitations, we develop an end-to-end and on-device IL framework, FastICARL,
that incorporates an exemplar-based IL and quantization in the context of
audio-based applications. We first employ k-nearest-neighbor to reduce the
latency of IL. Then, we jointly utilize a quantization technique to decrease
the storage requirements of IL. We implement FastICARL on two types of mobile
devices and demonstrate that FastICARL remarkably decreases the IL time up to
78-92% and the storage requirements by 2-4 times without sacrificing its
performance. FastICARL enables complete on-device IL, ensuring user privacy as
the user data does not need to leave the device.
- Abstract（参考訳）: さまざまなインクリメンタル学習(il)アプローチが提案されており、ディープラーニングモデルが新しいタスクやクラスを継続的に学習するのに役立つ。
新たなタスクを動的に取り入れ、ユーザからの入力分布を変更する必要があるデプロイされたオーディオセンシングアプリケーションが増えているため、ILオンデバイス機能は、効率とユーザのプライバシの両方に不可欠である。
しかし、以前の作業は高い計算コストとストレージ要求に苦しむため、デバイスへのilのデプロイが妨げられる。
本稿では,これらの制約を克服するために,音声ベースのアプリケーションにおいて,例題ベースのilと量子化を組み込んだ,エンドツーエンドでオンデバイスなilフレームワークであるfasticarlを開発した。
まずk-nearest-neighborを用いてILのレイテンシを低減する。
そして,ilの保存要件を減らすために,量子化手法を併用した。
我々は,FastICARLを2種類のモバイルデバイスに実装し,FastICARLが性能を犠牲にすることなく,IL時間を78～92%,ストレージ要求を2～4倍減少させることを示した。
FastICARLはデバイス上の完全なILを可能にし、ユーザデータがデバイスを離れる必要がないため、ユーザのプライバシを確保する。
関連論文リスト
- Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。
本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。
提案手法の有効性を数値解析により検証した。
論文 参考訳（メタデータ） (2024-11-04T17:48:02Z) - Mixture of Attentions For Speculative Decoding [17.344416130742232]
投機的復号法(SD)は、より小さなモデルを利用して将来のトークンを効率的に提案し、それを大規模言語モデルによって並列に検証する。
SDモデルには、トレーニング中のオン・ポリティネスの欠如や部分観測可能性の欠如など、いくつかの制限がある。
SD用ミクチャ・オブ・アテンションの導入により,小型モデルのより基礎的なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-10-04T10:25:52Z) - Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文 参考訳（メタデータ） (2024-06-13T05:49:29Z) - Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。
具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
論文 参考訳（メタデータ） (2024-01-18T11:57:05Z) - Lifelong Learning for Fog Load Balancing: A Transfer Learning Approach [0.7366405857677226]
待ち時間の最小化により,IoTアプリケーションの実行遅延を最適化するプライバシ対応強化学習(RL)エージェントの性能向上を図る。
本稿では,行動遅延を最小限に抑えるために軽量推論モデルを用いて,環境変化が著しい場合にのみ再訓練を行う,これらのエージェントのための生涯学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-08T14:49:33Z) - RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。
既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。
本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
論文 参考訳（メタデータ） (2023-10-02T17:16:26Z) - User Assignment and Resource Allocation for Hierarchical Federated
Learning over Wireless Networks [20.09415156099031]
階層FL(Hierarchical FL)は、効率的なリソース割り当てと適切なユーザ割り当てによって、エネルギー消費とレイテンシを低減する。
本稿では,スペクトル資源最適化アルゴリズム(SROA)とHFLのための2段階CPUアルゴリズム(TSIA)を提案する。
実験により,提案したHFLフレームワークは,エネルギーと遅延低減に関する既存の研究よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-09-17T12:10:39Z) - On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文 参考訳（メタデータ） (2022-06-30T17:59:08Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - MDLdroid: a ChainSGD-reduce Approach to Mobile Deep Learning for
Personal Mobile Sensing [14.574274428615666]
デバイス上でのディープラーニングの実行には、データのプライバシ保護や、モデルの堅牢性とアップデートの両方に対する低レイテンシ応答など、いくつかのメリットがある。
パーソナルモバイルセンシングアプリケーションは、主にユーザ固有であり、環境の影響を受けやすい。
我々は,デバイス上での協調学習を実現するために,新たな分散モバイルディープラーニングフレームワークであるMDLdroidを提案する。
論文 参考訳（メタデータ） (2020-02-07T16:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。