論文の概要: Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning
- arxiv url: http://arxiv.org/abs/2406.08830v1
- Date: Thu, 13 Jun 2024 05:49:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 21:08:42.592324
- Title: Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning
- Title（参考訳）: 効率的なオンデバイスインクリメンタル学習のための中心感性カーネル最適化
- Authors: Dingwen Zhang, Yan Li, De Cheng, Nannan Wang, Junwei Han,
- Abstract要約: 現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。
本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。
本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
- 参考スコア（独自算出の注目度）: 88.78080749909665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To facilitate the evolution of edge intelligence in ever-changing environments, we study on-device incremental learning constrained in limited computation resource in this paper. Current on-device training methods just focus on efficient training without considering the catastrophic forgetting, preventing the model getting stronger when continually exploring the world. To solve this problem, a direct solution is to involve the existing incremental learning mechanisms into the on-device training framework. Unfortunately, such a manner cannot work well as those mechanisms usually introduce large additional computational cost to the network optimization process, which would inevitably exceed the memory capacity of the edge devices. To address this issue, this paper makes an early effort to propose a simple but effective edge-friendly incremental learning framework. Based on an empirical study on the knowledge intensity of the kernel elements of the neural network, we find that the center kernel is the key for maximizing the knowledge intensity for learning new data, while freezing the other kernel elements would get a good balance on the model's capacity for overcoming catastrophic forgetting. Upon this finding, we further design a center-sensitive kernel optimization framework to largely alleviate the cost of the gradient computation and back-propagation. Besides, a dynamic channel element selection strategy is also proposed to facilitate a sparse orthogonal gradient projection for further reducing the optimization complexity, upon the knowledge explored from the new task data. Extensive experiments validate our method is efficient and effective, e.g., our method achieves average accuracy boost of 38.08% with even less memory and approximate computation compared to existing on-device training methods, indicating its significant potential for on-device incremental learning.
- Abstract（参考訳）: 本稿では,エッジインテリジェンスの進化を促進するために,限られた計算資源に制約されたデバイス上でのインクリメンタル学習について検討する。
現在のデバイス上でのトレーニング方法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点を合わせ、世界を継続的に探索する際のモデル強化を防いでいる。
この問題を解決するために、デバイス上でのトレーニングフレームワークに既存のインクリメンタルな学習メカニズムを組み込むという、直接的な解決策がある。
残念なことに、これらのメカニズムはネットワーク最適化プロセスに多大な計算コストをもたらし、エッジデバイスのメモリ容量を必然的に超えてしまうため、うまく機能しない。
この問題に対処するため,本稿では,単純かつ効果的なエッジフレンドリーなインクリメンタルラーニングフレームワークを提案する。
ニューラルネットワークのカーネル要素の知識強度に関する実証的研究から、中心核が新しいデータを学ぶための知識強度を最大化するための鍵であり、一方で他のカーネル要素を凍結することで、破滅的な忘れを克服するモデルの能力のバランスが良くなることがわかった。
この発見により、勾配計算とバックプロパゲーションのコストを大幅に軽減するために、センターセンシティブなカーネル最適化フレームワークをさらに設計する。
さらに、新しいタスクデータから探索した知識に基づいて、最適化の複雑さをさらに軽減するために、疎直交勾配予測を容易にする動的チャネル要素選択戦略も提案されている。
例えば,本手法は,既存のデバイス上でのトレーニング手法と比較して,メモリと近似計算の少ない38.08%の平均精度向上を実現し,デバイス上でのインクリメンタル学習の可能性を示している。
関連論文リスト
- Kernel Sum of Squares for Data Adapted Kernel Learning of Dynamical Systems from Data: A global optimization approach [0.19999259391104385]
本稿では,Kernel Sum of Squares (KSOS) 法の適用について検討する。
従来のカーネルベースの手法は、最適なベースカーネルの選択とパラメータチューニングにしばしば苦労する。
KSOSは、カーネルベースのサロゲート関数を持つグローバル最適化フレームワークを活用することで、これらの問題を緩和する。
論文 参考訳（メタデータ） (2024-08-12T19:32:28Z) - The Power of Few: Accelerating and Enhancing Data Reweighting with Coreset Selection [18.683805940232485]
再重み付けにコアサブセット選択を用いる新しい手法を提案する。
戦略的に選択されたコアセットに焦点を当てることで、我々のアプローチは堅牢な表現を提供する。
再校正された重みは、データセット全体に対してマッピングされ、伝播される。
論文 参考訳（メタデータ） (2024-03-18T18:30:22Z) - Compute-Efficient Active Learning [0.0]
アクティブラーニングは、ラベルなしデータセットから最も有益なサンプルを選択することでラベリングコストを削減することを目的としている。
従来のアクティブな学習プロセスは、拡張性と効率を阻害する広範な計算資源を必要とすることが多い。
本稿では,大規模データセット上での能動的学習に伴う計算負担を軽減するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-15T12:32:07Z) - Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive
Kernels [35.76925787221499]
本稿では,ラジアル基底関数(RBF)カーネルを強化するための訓練可能なパラメータとして,局所適応バンド幅(LAB)の概念を紹介する。
LAB RBFカーネルのパラメータはデータ依存であり、データセットによってその数は増加する可能性がある。
本稿では,非対称なカーネルリッジ回帰フレームワークを初めて確立し,反復的なカーネル学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-08T17:08:15Z) - On Efficient Training of Large-Scale Deep Learning Models: A Literature
Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。
大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。
計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文 参考訳（メタデータ） (2023-04-07T11:13:23Z) - CCLF: A Contrastive-Curiosity-Driven Learning Framework for
Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。
CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。
このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文 参考訳（メタデータ） (2022-05-02T14:42:05Z) - Privacy-Preserving Serverless Edge Learning with Decentralized Small
Data [13.254530176359182]
最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。
本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
論文 参考訳（メタデータ） (2021-11-29T21:04:49Z) - Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。
MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。
本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-02T07:37:10Z) - Adaptive Serverless Learning [114.36410688552579]
本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。
提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。
通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
論文 参考訳（メタデータ） (2020-08-24T13:23:02Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳（メタデータ） (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。