論文の概要: LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning

• arxiv url: http://arxiv.org/abs/2509.21617v1
• Date: Thu, 25 Sep 2025 21:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.032073
• Title: LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning
• Title（参考訳）: LANCE: 効果的なオンデバイス学習のための低ランクアクティベーション圧縮
• Authors: Marco Paul E. Apolinario, Kaushik Roy,
• Abstract要約: オンデバイス学習は、リソース制約のある環境におけるパーソナライズ、プライバシ、長期適応に不可欠である。 既存のアクティベーション圧縮手法は、このコストを削減するが、繰り返し低ランクの分解に依存し、計算オーバーヘッドを発生させる。 アクティベーションプロジェクションのための再利用可能な低ランク部分空間を得るために,一ショット高次特異値分解(SVD)を行うフレームワークであるLANCEを提案する。
• 参考スコア（独自算出の注目度）: 9.009523608709117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device learning is essential for personalization, privacy, and long-term adaptation in resource-constrained environments. Achieving this requires efficient learning, both fine-tuning existing models and continually acquiring new tasks without catastrophic forgetting. Yet both settings are constrained by high memory cost of storing activations during backpropagation. Existing activation compression methods reduce this cost but relying on repeated low-rank decompositions, introducing computational overhead. Also, such methods have not been explored for continual learning. We propose LANCE (Low-rank Activation Compression), a framework that performs one-shot higher-order Singular Value Decompsoition (SVD) to obtain a reusable low-rank subspace for activation projection. This eliminates repeated decompositions, reducing both memory and computation. Moreover, fixed low-rank subspaces further enable on-device continual learning by allocating tasks to orthogonal subspaces without storing large task-specific matrices. Experiments show that LANCE reduces activation storage up to 250$\times$ while maintaining accuracy comparable to full backpropagation on CIFAR-10/100, Oxford-IIIT Pets, Flowers102, and CUB-200 datasets. On continual learning benchmarks (Split CIFAR-100, Split MiniImageNet, 5-Datasets), it achieves performance competitive with orthogonal gradient projection methods at a fraction of the memory cost. These results position LANCE as a practical and scalable solution for efficient fine-tuning and continual learning on edge devices.
• Abstract（参考訳）: オンデバイス学習は、リソース制約のある環境におけるパーソナライズ、プライバシ、長期適応に不可欠である。 既存のモデルを微調整し、破滅的なことを忘れずに新しいタスクを継続的に取得する。 しかし、どちらの設定も、バックプロパゲーション中にアクティベーションを格納するメモリコストが高いため制約される。 既存のアクティベーション圧縮手法は、このコストを削減するが、繰り返し低ランクの分解に依存し、計算オーバーヘッドを発生させる。 また、このような手法は継続学習には適用されていない。 LANCE(Low-rank Activation Compression)は、1ショット高次特異値分解(SVD)を行うフレームワークで、アクティベーションプロジェクションのための再利用可能な低ランク部分空間を得る。 これにより、繰り返しの分解を排除し、メモリと計算の両方を削減できる。 さらに、固定された低ランク部分空間は、大きなタスク固有の行列を格納することなく、タスクを直交部分空間に割り当てることで、デバイス上で連続的な学習を可能にする。 実験によると、LANCEは、CIFAR-10/100、Oxford-IIIT Pets、Flowers102、CUB-200データセットの完全なバックプロパゲーションに匹敵する精度を維持しながら、アクティベーションストレージを250$\times$に削減している。 連続学習ベンチマーク(Split CIFAR-100, Split MiniImageNet, 5-Datasets)では、メモリコストのごく一部で直交勾配投影法と競合する性能を実現する。 これらの結果は、LANCEをエッジデバイス上での効率的な微調整および連続学習のための実用的でスケーラブルなソリューションとして位置づけている。

関連論文リスト

• Efficient Single-Step Framework for Incremental Class Learning in Neural Networks [43.1212452324751]
  CIFNet(Class Incremental and Frugal Network)は、高効率で持続可能なソリューションを提供することによって制限に対処する新しいCILアプローチである。 予め訓練された凍結された特徴抽出器は、背骨の計算コストの高い微調整を除去する。 ベンチマークデータセットの実験では、CIFNetはそのレベルで破滅的な忘れを効果的に軽減し、既存の最先端手法に匹敵する高い精度を達成することが確認されている。
  論文  参考訳（メタデータ） (2025-09-14T14:24:41Z)
• Forward-Only Continual Learning [8.873948519614244]
  破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-01T15:10:38Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Online Continual Learning Without the Storage Constraint [67.66235695269839]
  我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。 高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。 2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
  論文  参考訳（メタデータ） (2023-05-16T08:03:07Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。