論文の概要: LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device

• arxiv url: http://arxiv.org/abs/2407.10545v3
• Date: Sat, 08 Mar 2025 10:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:44:23.709285
• Title: LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device
• Title（参考訳）: LightCL:エッジデバイスのための低メモリフットプリントによるコンパクト連続学習
• Authors: Zeqing Wang, Fei Cheng, Kangye Ji, Bohu Huang,
• Abstract要約: 連続学習(Continuous Learning, CL)は、ニューラルネットワークが動的環境に常に適応できるようにする技術である。 本稿では、ニューラルネットワークの構造において既に一般化されたコンポーネントの冗長性を評価・圧縮するLightCLと呼ばれるコンパクトアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.818488262543482
• License:
• Abstract: Continual learning (CL) is a technique that enables neural networks to constantly adapt to their dynamic surroundings. Despite being overlooked for a long time, this technology can considerably address the customized needs of users in edge devices. Actually, most CL methods require huge resource consumption by the training behavior to acquire generalizability among all tasks for delaying forgetting regardless of edge scenarios. Therefore, this paper proposes a compact algorithm called LightCL, which evaluates and compresses the redundancy of already generalized components in structures of the neural network. Specifically, we consider two factors of generalizability, learning plasticity and memory stability, and design metrics of both to quantitatively assess generalizability of neural networks during CL. This evaluation shows that generalizability of different layers in a neural network exhibits a significant variation. Thus, we $\textit{Maintain Generalizability}$ by freezing generalized parts without the resource-intensive training process and $\textit{Memorize Feature Patterns}$ by stabilizing feature extracting of previous tasks to enhance generalizability for less-generalized parts with a little extra memory, which is far less than the reduction by freezing. Experiments illustrate that LightCL outperforms other state-of-the-art methods and reduces at most $\textbf{6.16$\times$}$ memory footprint. We also verify the effectiveness of LightCL on the edge device.
• Abstract（参考訳）: 連続学習(Continuous Learning, CL)は、ニューラルネットワークが動的環境に常に適応できるようにする技術である。 長い間見過ごされているにもかかわらず、この技術はエッジデバイスでカスタマイズされたユーザーのニーズにかなり対処できる。 実際、ほとんどのCLメソッドは、エッジシナリオに関係なく忘れるのを遅らせるために、すべてのタスクの一般化性を得るために、トレーニング行動による膨大なリソース消費を必要とします。 そこで本稿では,ニューラルネットワークの構造においてすでに一般化されているコンポーネントの冗長性を評価・圧縮する,LightCLと呼ばれるコンパクトアルゴリズムを提案する。 具体的には、一般化可能性の2つの要因、可塑性とメモリ安定性の学習、およびCL中のニューラルネットワークの一般化可能性の定量的評価のための設計指標について考察する。 この評価は、ニューラルネットワーク内の異なるレイヤの一般化性は、有意な変動を示すことを示している。 したがって、リソース集約的なトレーニングプロセスなしで一般化された部分を凍結することで$$\textit{Maintain Generalizability}$と$\textit{Memorize Feature Patterns}$を安定化し、より少ないメモリで一般化されていない部分の一般化性を高める。 実験では、LightCLは他の最先端メソッドよりも優れており、最大で$\textbf{6.16$\times$}$メモリフットプリントを削減している。 また、エッジデバイスにおけるLightCLの有効性を検証する。

関連論文リスト

• Cost-Efficient Continual Learning with Sufficient Exemplar Memory [55.77835198580209]
  連続学習(CL)研究は通常、非常に制約のあるメモリ資源を前提としている。 本研究では,メモリが豊富である新しい環境におけるCLについて検討する。 提案手法は,計算コストを既存手法の4/3に削減しつつ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Activation Sparsity Opportunities for Compressing General Large Language Models [4.5624217435826]
  この研究は、最先端AIモデルにおけるアクティベーション空間の強制とパープレキシティ(精度)のトレードオフを体系的に調査する。 実験により,重要なFFN成分に対する主記憶の約50%と計算量の削減を無視可能な精度劣化で達成できることが実証された。
  論文  参考訳（メタデータ） (2024-12-13T02:26:54Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources [45.40926501138365]
  我々は、高度な合成最適化技術に基づいて構築された一般的なCLIPトレーニングフレームワークであるFastCLIPを紹介する。 我々のフレームワークは、通信オーバーヘッドを低減するための効率的な勾配低減戦略を備えている。 我々は、FastCLIPと最先端のトレーニングベースラインのパフォーマンスを、異なる計算スケールでベンチマークする。
  論文  参考訳（メタデータ） (2024-07-01T16:37:18Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms [17.031135153343502]
  継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。 LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。 LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-19T20:39:35Z)
• Cost-effective On-device Continual Learning over Memory Hierarchy with Miro [32.93163587457259]
  Miroは、リソース状態に基づいてCLシステムを動的に構成する新しいシステムランタイムである。 Miroは、私たちが構築するベースラインシステムを大幅に上回り、コスト効率を継続的に向上します。
  論文  参考訳（メタデータ） (2023-08-11T10:05:53Z)
• Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
  連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。 ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2023-04-09T04:36:24Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• SparCL: Sparse Continual Learning on the Edge [43.51885725281063]
  本稿では,エッジデバイス上でコスト効率のよい連続学習を実現するために,スパース連続学習(Sparse Continual Learning, SparCL)と呼ばれる新しいフレームワークを提案する。 SparCLは、重み空間、データ効率、勾配空間という3つの側面の相乗効果により、トレーニングの加速と精度の保存を両立させる。
  論文  参考訳（メタデータ） (2022-09-20T05:24:48Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。