論文の概要: LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device

• arxiv url: http://arxiv.org/abs/2407.10545v3
• Date: Sat, 08 Mar 2025 10:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:43.70869
• Title: LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device
• Title（参考訳）: LightCL:エッジデバイスのための低メモリフットプリントによるコンパクト連続学習
• Authors: Zeqing Wang, Fei Cheng, Kangye Ji, Bohu Huang,
• Abstract要約: 連続学習(Continuous Learning, CL)は、ニューラルネットワークが動的環境に常に適応できるようにする技術である。 本稿では、ニューラルネットワークの構造において既に一般化されたコンポーネントの冗長性を評価・圧縮するLightCLと呼ばれるコンパクトアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.818488262543482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) is a technique that enables neural networks to constantly adapt to their dynamic surroundings. Despite being overlooked for a long time, this technology can considerably address the customized needs of users in edge devices. Actually, most CL methods require huge resource consumption by the training behavior to acquire generalizability among all tasks for delaying forgetting regardless of edge scenarios. Therefore, this paper proposes a compact algorithm called LightCL, which evaluates and compresses the redundancy of already generalized components in structures of the neural network. Specifically, we consider two factors of generalizability, learning plasticity and memory stability, and design metrics of both to quantitatively assess generalizability of neural networks during CL. This evaluation shows that generalizability of different layers in a neural network exhibits a significant variation. Thus, we $\textit{Maintain Generalizability}$ by freezing generalized parts without the resource-intensive training process and $\textit{Memorize Feature Patterns}$ by stabilizing feature extracting of previous tasks to enhance generalizability for less-generalized parts with a little extra memory, which is far less than the reduction by freezing. Experiments illustrate that LightCL outperforms other state-of-the-art methods and reduces at most $\textbf{6.16$\times$}$ memory footprint. We also verify the effectiveness of LightCL on the edge device.
• Abstract（参考訳）: 連続学習(Continuous Learning, CL)は、ニューラルネットワークが動的環境に常に適応できるようにする技術である。 長い間見過ごされているにもかかわらず、この技術はエッジデバイスでカスタマイズされたユーザーのニーズにかなり対処できる。 実際、ほとんどのCLメソッドは、エッジシナリオに関係なく忘れるのを遅らせるために、すべてのタスクの一般化性を得るために、トレーニング行動による膨大なリソース消費を必要とします。 そこで本稿では,ニューラルネットワークの構造においてすでに一般化されているコンポーネントの冗長性を評価・圧縮する,LightCLと呼ばれるコンパクトアルゴリズムを提案する。 具体的には、一般化可能性の2つの要因、可塑性とメモリ安定性の学習、およびCL中のニューラルネットワークの一般化可能性の定量的評価のための設計指標について考察する。 この評価は、ニューラルネットワーク内の異なるレイヤの一般化性は、有意な変動を示すことを示している。 したがって、リソース集約的なトレーニングプロセスなしで一般化された部分を凍結することで$$\textit{Maintain Generalizability}$と$\textit{Memorize Feature Patterns}$を安定化し、より少ないメモリで一般化されていない部分の一般化性を高める。 実験では、LightCLは他の最先端メソッドよりも優れており、最大で$\textbf{6.16$\times$}$メモリフットプリントを削減している。 また、エッジデバイスにおけるLightCLの有効性を検証する。

関連論文リスト

• DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images [14.448350657613368]
  DeeCLIPはAI生成画像を検出するための新しいフレームワークである。 DeeFuserは、高レベルと低レベルの機能を組み合わせたフュージョンモジュールである。 4クラスのProGANデータのみをトレーニングし,平均精度は89.90%に達した。
  論文  参考訳（メタデータ） (2025-04-28T15:06:28Z)
• Cost-Efficient Continual Learning with Sufficient Exemplar Memory [55.77835198580209]
  連続学習(CL)研究は通常、非常に制約のあるメモリ資源を前提としている。 本研究では,メモリが豊富である新しい環境におけるCLについて検討する。 提案手法は,計算コストを既存手法の4/3に削減しつつ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Training-free Ultra Small Model for Universal Sparse Reconstruction in Compressed Sensing [39.36305648162564]
  本稿では,係数学習(CL)と呼ばれる超小型人工ニューラルモデルを提案する。 CLは、従来の反復的手法の一般性と解釈性を継承しつつ、トレーニング不要で迅速なスパース再構築を可能にする。 代表的反復法と比較して、CLOMPは大規模データの効率を100から1000倍に改善する。
  論文  参考訳（メタデータ） (2025-01-20T16:50:59Z)
• Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
  本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-12-16T14:23:31Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources [45.40926501138365]
  我々は、高度な合成最適化技術に基づいて構築された一般的なCLIPトレーニングフレームワークであるFastCLIPを紹介する。 我々のフレームワークは、通信オーバーヘッドを低減するための効率的な勾配低減戦略を備えている。 我々は、FastCLIPと最先端のトレーニングベースラインのパフォーマンスを、異なる計算スケールでベンチマークする。
  論文  参考訳（メタデータ） (2024-07-01T16:37:18Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms [17.031135153343502]
  継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。 LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。 LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-19T20:39:35Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Cost-effective On-device Continual Learning over Memory Hierarchy with Miro [32.93163587457259]
  Miroは、リソース状態に基づいてCLシステムを動的に構成する新しいシステムランタイムである。 Miroは、私たちが構築するベースラインシステムを大幅に上回り、コスト効率を継続的に向上します。
  論文  参考訳（メタデータ） (2023-08-11T10:05:53Z)
• Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
  連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。 ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2023-04-09T04:36:24Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• SparCL: Sparse Continual Learning on the Edge [43.51885725281063]
  本稿では,エッジデバイス上でコスト効率のよい連続学習を実現するために,スパース連続学習(Sparse Continual Learning, SparCL)と呼ばれる新しいフレームワークを提案する。 SparCLは、重み空間、データ効率、勾配空間という3つの側面の相乗効果により、トレーニングの加速と精度の保存を両立させる。
  論文  参考訳（メタデータ） (2022-09-20T05:24:48Z)
• TransCL: Transformer Makes Strong and Flexible Compressive Learning [11.613886854794133]
  圧縮学習(Compressive Learning, CL)は、圧縮センシング(CS)による信号取得と、少数の測定に基づいて直接推論タスクを行う機械学習を統合する新興フレームワークである。 CLの以前の試みはCS比の固定に留まらず、MNIST/CIFARのようなデータセットに限られており、複雑な現実世界の高解像度(HR)データやビジョンタスクにスケールしない。 本稿では,トランスCLと呼ばれる任意のCS比を持つ大規模画像を対象とした,トランスフォーマーに基づく新しい圧縮学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-25T08:21:48Z)
• Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
  我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。 カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。 我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
  論文  参考訳（メタデータ） (2022-04-21T14:40:32Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Automatic Sparse Connectivity Learning for Neural Networks [4.875787559251317]
  十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。 本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。 SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
  論文  参考訳（メタデータ） (2022-01-13T15:12:48Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。