論文の概要: Exploring System Performance of Continual Learning for Mobile and Embedded Sensing Applications

• arxiv url: http://arxiv.org/abs/2110.13290v1
• Date: Mon, 25 Oct 2021 22:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 07:55:43.782501
• Title: Exploring System Performance of Continual Learning for Mobile and Embedded Sensing Applications
• Title（参考訳）: モバイルおよび組み込みセンシングアプリケーションのための連続学習のシステム性能の検討
• Authors: Young D. Kwon, Jagmohan Chauhan, Abhishek Kumar, Pan Hui, and Cecilia Mascolo
• Abstract要約: 本研究は,3つの主要な連続学習手法の性能を定量化する総合的な実証的研究である。 エッジデバイス上でのエンドツーエンドの継続的学習フレームワークを実装した。 メモリ予算が限られているデバイス上で連続的な学習が実現可能であることを初めて実証する。
• 参考スコア（独自算出の注目度）: 19.334890205028568
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning approaches help deep neural network models adapt and learn incrementally by trying to solve catastrophic forgetting. However, whether these existing approaches, applied traditionally to image-based tasks, work with the same efficacy to the sequential time series data generated by mobile or embedded sensing systems remains an unanswered question. To address this void, we conduct the first comprehensive empirical study that quantifies the performance of three predominant continual learning schemes (i.e., regularization, replay, and replay with examples) on six datasets from three mobile and embedded sensing applications in a range of scenarios having different learning complexities. More specifically, we implement an end-to-end continual learning framework on edge devices. Then we investigate the generalizability, trade-offs between performance, storage, computational costs, and memory footprint of different continual learning methods. Our findings suggest that replay with exemplars-based schemes such as iCaRL has the best performance trade-offs, even in complex scenarios, at the expense of some storage space (few MBs) for training examples (1% to 5%). We also demonstrate for the first time that it is feasible and practical to run continual learning on-device with a limited memory budget. In particular, the latency on two types of mobile and embedded devices suggests that both incremental learning time (few seconds - 4 minutes) and training time (1 - 75 minutes) across datasets are acceptable, as training could happen on the device when the embedded device is charging thereby ensuring complete data privacy. Finally, we present some guidelines for practitioners who want to apply a continual learning paradigm for mobile sensing tasks.
• Abstract（参考訳）: 継続的な学習アプローチは、破滅的な忘れを解くことによって、ディープニューラルネットワークモデルの適応と漸進的な学習を支援する。 しかし、画像ベースのタスクに伝統的に適用されるこれらの既存のアプローチが、モバイルまたは組み込みセンシングシステムによって生成された時系列データと同じ効果で動作するかどうかは、まだ不明な疑問である。 この空白に対処するために,我々は3つのモバイルおよび組み込みセンシングアプリケーションから得られた6つのデータセットにおける3つの主要な連続学習スキーム(レギュライゼーション,リプレイ,リプレイ)のパフォーマンスを,学習の複雑さが異なるさまざまなシナリオで定量化する,最初の包括的な実証研究を行う。 具体的には、エッジデバイス上でエンドツーエンドの継続的学習フレームワークを実装します。 次に,連続学習法における性能,記憶,計算コスト,メモリフットプリントの一般化性,トレードオフについて検討する。 以上の結果から,iCaRLのような模範的なスキームによるリプレイは,複雑なシナリオであっても,トレーニング例(1%から5%)のストレージスペース(2MB)を犠牲にして,最高のパフォーマンストレードオフを有することが示唆された。 また,メモリ予算が限定されたデバイス上で連続学習を行うことは,実現可能かつ実用的であることを初めて実証した。 特に、2種類のモバイルおよび組み込みデバイスでのレイテンシは、インクリメンタルな学習時間(2秒から4分)とデータセット全体のトレーニング時間(1～75分)の両方が許容されることを示唆している。 最後に,モバイルセンシングタスクに連続学習パラダイムを適用したい実践者に対して,いくつかのガイドラインを提案する。

関連論文リスト

• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Explainable Lifelong Stream Learning Based on "Glocal" Pairwise Fusion [17.11983414681928]
  リアルタイムデバイス上での連続学習アプリケーションは、携帯電話、消費者向けロボット、スマートアプライアンスで使用されている。 本研究では,いくつかの重要な特徴を取り入れたExplainable Lifelong Learning(ExLL)モデルを提案する。 ExLLはテストシナリオの大部分において、正確性のためにすべてのアルゴリズムを上回ります。
  論文  参考訳（メタデータ） (2023-06-23T09:54:48Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Self-Supervised Human Activity Recognition with Localized Time-Frequency Contrastive Representation Learning [16.457778420360537]
  スマートフォン加速度計データを用いた人間行動認識のための自己教師付き学習ソリューションを提案する。 加速度計信号から強い表現を学習し,クラスラベルへの依存度を低減させるモデルを開発した。 提案手法の性能をMotionSense, HAPT, HHARの3つのデータセットで評価した。
  論文  参考訳（メタデータ） (2022-08-26T22:47:18Z)
• Online Continual Learning for Embedded Devices [41.31925039882364]
  ホームロボット、スマートフォンでのユーザーパーソナライズ、拡張現実/バーチャルリアリティーヘッドセットといった新しいアプリケーションには、デバイス上でのリアルタイム連続学習が必要である。 組み込みデバイスはメモリと計算能力に制限がある。 オンライン連続学習モデルは開発されているが, 組込みアプリケーションへの適用性は十分に研究されていない。
  論文  参考訳（メタデータ） (2022-03-21T00:23:09Z)
• Anomaly Detection in Video via Self-Supervised and Multi-Task Learning [113.81927544121625]
  ビデオにおける異常検出は、コンピュータビジョンの問題である。 本稿では,オブジェクトレベルでの自己教師型およびマルチタスク学習を通じて,ビデオ中の異常事象検出にアプローチする。
  論文  参考訳（メタデータ） (2020-11-15T10:21:28Z)
• Sense and Learn: Self-Supervision for Omnipresent Sensors [9.442811508809994]
  我々は、生の知覚データから表現や特徴学習のためのSense and Learnというフレームワークを提案する。 これは、面倒なラベル付けプロセスに人間が関与することなく、注釈のないデータから、高レベルで広範囲に有用な特徴を学習できる補助的なタスクで構成されている。 提案手法は、教師付きアプローチと競合する結果を達成し、ネットワークを微調整し、ほとんどの場合、下流タスクを学習することでギャップを埋める。
  論文  参考訳（メタデータ） (2020-09-28T11:57:43Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。