論文の概要: Breaking On-device Training Memory Wall: A Systematic Survey
- arxiv url: http://arxiv.org/abs/2306.10388v2
- Date: Tue, 12 Sep 2023 12:29:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 17:00:18.816765
- Title: Breaking On-device Training Memory Wall: A Systematic Survey
- Title（参考訳）: デバイス上でのトレーニングメモリウォールの破壊:システム的調査
- Authors: Shitian Li and Chunlin Tian and Kahou Tam and Rui Ma and Li Li
- Abstract要約: デバイス上でのトレーニングは、マシンラーニングに対する一般的なアプローチとなり、モデルを直接モバイルやエッジデバイス上でトレーニングすることが可能になった。
この領域における大きな課題は、これらのデバイスで利用可能な限られたメモリであり、トレーニング可能なモデルのサイズと複雑さを著しく制限することができる。
我々は、デバイス上でのトレーニングメモリウォールを壊すための現在の最先端技術を探究し、リソース制約のあるデバイスでより大規模で複雑なモデルをトレーニングできる方法に焦点を当てる。
- 参考スコア（独自算出の注目度）: 6.130778185929979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-device training has become an increasingly popular approach to machine
learning, enabling models to be trained directly on mobile and edge devices.
However, a major challenge in this area is the limited memory available on
these devices, which can severely restrict the size and complexity of the
models that can be trained. In this systematic survey, we aim to explore the
current state-of-the-art techniques for breaking on-device training memory
walls, focusing on methods that can enable larger and more complex models to be
trained on resource-constrained devices.
Specifically, we first analyze the key factors that contribute to the
phenomenon of memory walls encountered during on-device training. Then, we
present a comprehensive literature review of on-device training, which
addresses the issue of memory limitations. Finally, we summarize on-device
training and highlight the open problems for future research.
By providing a comprehensive overview of these techniques and their
effectiveness in breaking memory walls, we hope to help researchers and
practitioners in this field navigate the rapidly evolving landscape of
on-device training.
- Abstract（参考訳）: デバイス上でのトレーニングは、マシンラーニングに対する一般的なアプローチとなり、モデルをモバイルやエッジデバイスで直接トレーニングすることが可能になっている。
しかしながら、この領域における大きな課題は、これらのデバイスで利用可能なメモリの制限であり、トレーニング可能なモデルのサイズと複雑さを厳しく制限することができる。
本稿では,デバイス上でのメモリウォールの破壊に関する最新の技術を探究し,リソース制約のあるデバイスで大規模で複雑なモデルをトレーニングできる手法に注目した。
具体的には,デバイス上でのトレーニング中に発生するメモリ壁の現象に寄与する重要な要因を最初に分析する。
次に、メモリ制限の問題に対処するオンデバイストレーニングに関する総合的な文献レビューを示す。
最後に、デバイス上でのトレーニングを要約し、今後の研究におけるオープンな問題を強調する。
これらの技術の概要とメモリウォールの破壊効果を概観することにより、この分野の研究者や実践者がデバイス上でのトレーニングの急速な発展の展望をナビゲートしたいと考えている。
関連論文リスト
- Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
論文 参考訳（メタデータ） (2024-06-13T05:49:29Z) - Lightweight Deep Learning for Resource-Constrained Environments: A Survey [30.791667683400444]
ディープラーニングは、自然言語処理、コンピュータビジョン、バイオメディカル信号処理など、人工知能のさまざまな領域で普及している。
これらのモデルを携帯電話やマイクロコントローラなどの軽量デバイスにデプロイすることは、限られたリソースによって制限される。
TinyMLとLarge Language Modelsのデプロイメントテクニックです。
論文 参考訳（メタデータ） (2024-04-08T08:50:09Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳（メタデータ） (2023-12-14T09:46:16Z) - PIVOT: Prompting for Video Continual Learning [50.80141083993668]
PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。
実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
論文 参考訳（メタデータ） (2022-12-09T13:22:27Z) - On-device Training: A First Overview on Existing Systems [6.551096686706628]
リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。
この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
論文 参考訳（メタデータ） (2022-12-01T19:22:29Z) - Design Automation for Fast, Lightweight, and Effective Deep Learning
Models: A Survey [53.258091735278875]
本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。
これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。
この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
論文 参考訳（メタデータ） (2022-08-22T12:12:43Z) - Memristive Computing for Efficient Inference on Resource Constrained
Devices [0.9940728137241214]
本研究では、不揮発性メモリの現況と、抵抗性RAMメモリの使用、特に記憶器の使用が、ディープラーニング研究の進展にどのように貢献するかを概観する。
言い換えれば、経験的技術の分野で進歩しているイデオロギーは、エッジデバイスにおける深層学習の推論に大きな影響を与え、影響を及ぼすことができる。
論文 参考訳（メタデータ） (2022-08-21T07:02:19Z) - Exploring System Performance of Continual Learning for Mobile and
Embedded Sensing Applications [19.334890205028568]
本研究は,3つの主要な連続学習手法の性能を定量化する総合的な実証的研究である。
エッジデバイス上でのエンドツーエンドの継続的学習フレームワークを実装した。
メモリ予算が限られているデバイス上で連続的な学習が実現可能であることを初めて実証する。
論文 参考訳（メタデータ） (2021-10-25T22:06:26Z) - Tiny Machine Learning for Concept Drift [8.452237741722726]
本稿では,ディープラーニング特徴抽出器とk-アネレスト近傍に基づくTML-CD(Tiny Machine Learning for Concept Drift)ソリューションを提案する。
適応モジュールは、TML-CDの知識ベースを継続的に更新し、データ生成プロセスに影響を与える概念ドリフトに対処する。
3つの市販マイクロコントローラユニットへのTML-CDの移植は、現実世界の広範システムで提案されていることの実現可能性を示している。
論文 参考訳（メタデータ） (2021-07-30T17:02:04Z) - Federated Learning: A Signal Processing Perspective [144.63726413692876]
フェデレーションラーニングは、データを明示的に交換することなく、ローカルデータセットを保持する複数のエッジデバイスでモデルをトレーニングするための新しい機械学習パラダイムです。
本稿では、信号処理ツールを用いて扱うのが自然である主な課題をカプセル化し、強調する、連合学習のための統一的な体系的フレームワークを提供する。
論文 参考訳（メタデータ） (2021-03-31T15:14:39Z) - Federated and continual learning for classification tasks in a society
of devices [59.45414406974091]
Light Federated and Continual Consensus (LFedCon2)は、軽量で伝統的な学習者を用いた新しいフェデレーションおよび継続アーキテクチャである。
我々の方法では、スマートフォンやロボットのような無力デバイスが、リアルタイムで、ローカルで、継続的に、自律的に、そしてユーザーから学習することができる。
提案手法をスマートフォン利用者の異種コミュニティに適用し,歩行認識の課題を解決した。
論文 参考訳（メタデータ） (2020-06-12T12:37:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。