論文の概要: Efficient Continual Learning with Low Memory Footprint For Edge Device

• arxiv url: http://arxiv.org/abs/2407.10545v1
• Date: Mon, 15 Jul 2024 08:52:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-07-16 15:50:53.346185
• Title: Efficient Continual Learning with Low Memory Footprint For Edge Device
• Title（参考訳）: エッジデバイスのための低メモリフットプリントによる効率的な連続学習
• Authors: Zeqing Wang, Fei Cheng, Kangye Ji, Bohu Huang,
• Abstract要約: 本稿では,連続学習の忘れる問題を解くために,LightCLと呼ばれるコンパクトアルゴリズムを提案する。 まず,CLにおける可塑性学習とメモリ安定性の2つの新しい指標を提案する。 実験的な比較では、LightCLは忘れるのを遅らせる他のSOTAメソッドよりも優れており、最大$textbf6.16$times$$$メモリフットプリントを削減している。
• 参考スコア（独自算出の注目度）: 6.818488262543482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning(CL) is a useful technique to acquire dynamic knowledge continually. Although powerful cloud platforms can fully exert the ability of CL,e.g., customized recommendation systems, similar personalized requirements for edge devices are almost disregarded. This phenomenon stems from the huge resource overhead involved in training neural networks and overcoming the forgetting problem of CL. This paper focuses on these scenarios and proposes a compact algorithm called LightCL. Different from other CL methods bringing huge resource consumption to acquire generalizability among all tasks for delaying forgetting, LightCL compress the resource consumption of already generalized components in neural networks and uses a few extra resources to improve memory in other parts. We first propose two new metrics of learning plasticity and memory stability to seek generalizability during CL. Based on the discovery that lower and middle layers have more generalizability and deeper layers are opposite, we $\textit{Maintain Generalizability}$ by freezing the lower and middle layers. Then, we $\textit{Memorize Feature Patterns}$ to stabilize the feature extracting patterns of previous tasks to improve generalizability in deeper layers. In the experimental comparison, LightCL outperforms other SOTA methods in delaying forgetting and reduces at most $\textbf{6.16$\times$}$ memory footprint, proving the excellent performance of LightCL in efficiency. We also evaluate the efficiency of our method on an edge device, the Jetson Nano, which further proves our method's practical effectiveness.
• Abstract（参考訳）: 連続学習(CL)は動的知識の獲得に有用である。 強力なクラウドプラットフォームは、CL(例えばカスタマイズされたレコメンデーションシステム)の能力を完全に発揮できるが、エッジデバイスに対する同様のパーソナライズされた要件はほとんど無視されている。 この現象は、ニューラルネットワークのトレーニングと、CLの忘れられる問題を克服することに関わる膨大なリソースオーバーヘッドに起因している。 本稿では,これらのシナリオに着目し,LightCLと呼ばれるコンパクトなアルゴリズムを提案する。 他のCLメソッドとは異なり、忘れるのを遅らせるためのすべてのタスクの中でリソースの消費が一般化できるため、LightCLはニューラルネットワークで既に一般化されたコンポーネントのリソース消費を圧縮し、いくつかの余分なリソースを使用して他の部分のメモリを改善する。 まず,CLにおける可塑性学習とメモリ安定性の2つの新しい指標を提案する。 下層と中層がより一般化可能であり、より深い層が反対であるという発見に基づいて、下層と中層を凍結することで、$\textit{Maintain Generalizability}$を$\textit{Maintain Generalizability} とします。 次に、以前のタスクの特徴抽出パターンを安定化させ、より深いレイヤでの一般化性を改善するために、$\textit{Memorize Feature Patterns}$を値します。 実験的な比較では、LightCLは他のSOTAメソッドよりも遅延し、最大$\textbf{6.16$\times$}のメモリフットプリントを削減し、LightCLの効率性に優れた性能を示す。 また,エッジデバイスであるJetson Nanoにおいて,本手法の有効性を検証した。

関連論文リスト

• DeeCLIP: A Robust and Generalizable Transformer-Based Framework for Detecting AI-Generated Images [14.448350657613368]
  DeeCLIPはAI生成画像を検出するための新しいフレームワークである。 DeeFuserは、高レベルと低レベルの機能を組み合わせたフュージョンモジュールである。 4クラスのProGANデータのみをトレーニングし,平均精度は89.90%に達した。
  論文  参考訳（メタデータ） (2025-04-28T15:06:28Z)
• Cost-Efficient Continual Learning with Sufficient Exemplar Memory [55.77835198580209]
  連続学習(CL)研究は通常、非常に制約のあるメモリ資源を前提としている。 本研究では,メモリが豊富である新しい環境におけるCLについて検討する。 提案手法は,計算コストを既存手法の4/3に削減しつつ,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Training-free Ultra Small Model for Universal Sparse Reconstruction in Compressed Sensing [39.36305648162564]
  本稿では,係数学習(CL)と呼ばれる超小型人工ニューラルモデルを提案する。 CLは、従来の反復的手法の一般性と解釈性を継承しつつ、トレーニング不要で迅速なスパース再構築を可能にする。 代表的反復法と比較して、CLOMPは大規模データの効率を100から1000倍に改善する。
  論文  参考訳（メタデータ） (2025-01-20T16:50:59Z)
• Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory [0.8321953606016751]
  本稿では,スパースRNNとスパイキングニューラルネットワークの一般クラスに適したメモリ効率の高い勾配チェックポイント戦略を提案する。 再計算のオーバーヘッドを最小限に抑えながら、ローカルメモリリソースの使用を最適化し、Double Checkpointingが最も効果的な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-12-16T14:23:31Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources [45.40926501138365]
  我々は、高度な合成最適化技術に基づいて構築された一般的なCLIPトレーニングフレームワークであるFastCLIPを紹介する。 我々のフレームワークは、通信オーバーヘッドを低減するための効率的な勾配低減戦略を備えている。 我々は、FastCLIPと最先端のトレーニングベースラインのパフォーマンスを、異なる計算スケールでベンチマークする。
  論文  参考訳（メタデータ） (2024-07-01T16:37:18Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms [17.031135153343502]
  継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。 LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。 LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-19T20:39:35Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Cost-effective On-device Continual Learning over Memory Hierarchy with Miro [32.93163587457259]
  Miroは、リソース状態に基づいてCLシステムを動的に構成する新しいシステムランタイムである。 Miroは、私たちが構築するベースラインシステムを大幅に上回り、コスト効率を継続的に向上します。
  論文  参考訳（メタデータ） (2023-08-11T10:05:53Z)
• Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
  連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。 ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。 CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
  論文  参考訳（メタデータ） (2023-04-09T04:36:24Z)
• Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
  CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。 現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。 本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
  論文  参考訳（メタデータ） (2023-03-20T14:50:27Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• SparCL: Sparse Continual Learning on the Edge [43.51885725281063]
  本稿では,エッジデバイス上でコスト効率のよい連続学習を実現するために,スパース連続学習(Sparse Continual Learning, SparCL)と呼ばれる新しいフレームワークを提案する。 SparCLは、重み空間、データ効率、勾配空間という3つの側面の相乗効果により、トレーニングの加速と精度の保存を両立させる。
  論文  参考訳（メタデータ） (2022-09-20T05:24:48Z)
• TransCL: Transformer Makes Strong and Flexible Compressive Learning [11.613886854794133]
  圧縮学習(Compressive Learning, CL)は、圧縮センシング(CS)による信号取得と、少数の測定に基づいて直接推論タスクを行う機械学習を統合する新興フレームワークである。 CLの以前の試みはCS比の固定に留まらず、MNIST/CIFARのようなデータセットに限られており、複雑な現実世界の高解像度(HR)データやビジョンタスクにスケールしない。 本稿では,トランスCLと呼ばれる任意のCS比を持つ大規模画像を対象とした,トランスフォーマーに基づく新しい圧縮学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-25T08:21:48Z)
• Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
  我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。 カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。 我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
  論文  参考訳（メタデータ） (2022-04-21T14:40:32Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Automatic Sparse Connectivity Learning for Neural Networks [4.875787559251317]
  十分に設計されたスパースニューラルネットワークは、FLOPや計算資源を大幅に削減する可能性がある。 本研究では,スパース接続性学習(Sparse Connectivity Learning)という新しい自動プルーニング手法を提案する。 SCLによって訓練された深層学習モデルは、SOTAの人間設計および自動プルーニング手法を、疎性、正確性、FLOPs削減で上回っている。
  論文  参考訳（メタデータ） (2022-01-13T15:12:48Z)
• Decoupled Contrastive Learning [23.25775900388382]
  我々は,広く使用されているクロスエントロピー(InfoNCE)損失における顕著な負陽性結合(NPC)効果を同定した。 NPC効果を適切に処理することにより、非結合型コントラスト学習(DCL)目標関数に到達する。 われわれのアプローチは、200時間以内のバッチサイズ256を使用して6.9%のImageNet top-1精度を実現し、ベースラインのSimCLRを5.1%上回った。
  論文  参考訳（メタデータ） (2021-10-13T16:38:43Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。