論文の概要: CBPNet: A Continual Backpropagation Prompt Network for Alleviating Plasticity Loss on Edge Devices
- arxiv url: http://arxiv.org/abs/2509.15785v1
- Date: Fri, 19 Sep 2025 09:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 18:18:11.094323
- Title: CBPNet: A Continual Backpropagation Prompt Network for Alleviating Plasticity Loss on Edge Devices
- Title（参考訳）: CBPNet:エッジデバイスにおける塑性損失を軽減するための継続的バックプロパゲーションプロンプトネットワーク
- Authors: Runjie Shao, Boyu Diao, Zijia An, Ruiqi Liu, Yongjun Xu,
- Abstract要約: 塑性の低下は、トレーニング過程において未利用パラメータの更新活力の欠如に起因していると論じる。
本稿では,モデルの学習活力を回復するための有効かつパラメータ効率の高いフレームワークである連続バックプロパゲーション・プロンプト・ネットワーク(CBPNet)を提案する。
- 参考スコア（独自算出の注目度）: 16.318540474216416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To meet the demands of applications like robotics and autonomous driving that require real-time responses to dynamic environments, efficient continual learning methods suitable for edge devices have attracted increasing attention. In this transition, using frozen pretrained models with prompts has become a mainstream strategy to combat catastrophic forgetting. However, this approach introduces a new critical bottleneck: plasticity loss, where the model's ability to learn new knowledge diminishes due to the frozen backbone and the limited capacity of prompt parameters. We argue that the reduction in plasticity stems from a lack of update vitality in underutilized parameters during the training process. To this end, we propose the Continual Backpropagation Prompt Network (CBPNet), an effective and parameter efficient framework designed to restore the model's learning vitality. We innovatively integrate an Efficient CBP Block that counteracts plasticity decay by adaptively reinitializing these underutilized parameters. Experimental results on edge devices demonstrate CBPNet's effectiveness across multiple benchmarks. On Split CIFAR-100, it improves average accuracy by over 1% against a strong baseline, and on the more challenging Split ImageNet-R, it achieves a state of the art accuracy of 69.41%. This is accomplished by training additional parameters that constitute less than 0.2% of the backbone's size, validating our approach.
- Abstract（参考訳）: 動的環境に対するリアルタイムな応答を必要とするロボティクスや自律運転などのアプリケーションのニーズを満たすため、エッジデバイスに適した効率的な連続学習手法が注目されている。
この移行において、凍結した事前訓練されたモデルとプロンプトを用いることは、破滅的な忘れと戦う主要な戦略となっている。
しかし、このアプローチでは、凍結したバックボーンとプロンプトパラメータの限られた能力によって、モデルが新しい知識を学ぶ能力が低下する、塑性損失という新たな重要なボトルネックが導入された。
塑性の低下は、トレーニング過程において未利用パラメータの更新活力の欠如に起因していると論じる。
この目的のために,モデルの学習活力の回復を目的とした有効かつパラメータ効率の高いフレームワークである連続バックプロパゲーション・プロンプト・ネットワーク(CBPNet)を提案する。
我々は、これらの未利用パラメータを適応的に再活性化することにより、塑性崩壊を防止できる効率的なCBPブロックを革新的に統合する。
エッジデバイスの実験的結果は、複数のベンチマークでCBPNetの有効性を示している。
Split CIFAR-100では、強いベースラインに対して平均精度を1%以上改善し、Split ImageNet-Rでは69.41%の最先端精度を達成した。
これは、バックボーンのサイズの0.2%未満を構成する追加パラメータをトレーニングし、アプローチを検証することで達成される。
関連論文リスト
- WECAR: An End-Edge Collaborative Inference and Training Framework for WiFi-Based Continuous Human Activity Recognition [23.374051991346633]
We propose WECAR, a end-edge collaboration inference and training framework for WiFi-based continuous HAR。
We implement WECAR based on heterogeneous hardware using Jetson Nano as edge device and the ESP32 as end device。
3つの公開WiFiデータセットを対象とした実験により、WECARは性能とパラメータ効率においていくつかの最先端の手法より優れるだけでなく、パラメータカウント後最適化の大幅な削減を実現していることがわかった。
論文 参考訳（メタデータ） (2025-03-09T03:40:27Z) - Fishing For Cheap And Efficient Pruners At Initialization [4.433137726540548]
Pruningは、大規模ディープニューラルネットワーク(DNN)のデプロイに伴うコストと環境への影響を軽減する、有望なソリューションを提供する。
本稿では,Fisher-Taylor Sensitivity (FTS)について紹介する。これは,経験的Fisher Information Matrix (FIM) 対角線に基づく,安価で効率的なプルーニング基準である。
提案手法は, 極端間隔条件下であっても, ワンショットPSTの最先端技術に対する競合性能を実現する。
論文 参考訳（メタデータ） (2025-02-17T05:22:23Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Pushing the Limits of Sparsity: A Bag of Tricks for Extreme Pruning [32.918269107547616]
ディープニューラルネットワークのプルーニングは、高密度ネットワークの性能の大部分を保ちながら、モデルサイズの削減に有効な手法である。
最近のスパース学習法では、95%や98%といった中等度の疎度レベルまで有望な性能を示している。
極端に間隔があっても精度が崩れることなくネットワークの連続的な学習を可能にする手法の集合を提案する。
論文 参考訳（メタデータ） (2024-11-20T18:54:53Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳（メタデータ） (2022-04-10T11:38:33Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳（メタデータ） (2021-06-17T02:40:18Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。