論文の概要: PVBF: A Framework for Mitigating Parameter Variation Imbalance in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2502.17794v1
• Date: Tue, 25 Feb 2025 02:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:49.457512
• Title: PVBF: A Framework for Mitigating Parameter Variation Imbalance in Online Continual Learning
• Title（参考訳）: PVBF:オンライン連続学習におけるパラメータ変動の不均衡を緩和するフレームワーク
• Authors: Zelin Tao, Hao Deng, Mingqing Liu, Lijun Zhang, Shengjie Zhao,
• Abstract要約: オンライン連続学習(OCL)は、AIシステムが非定常データストリームから適応的に学習できるようにする。 本稿では,パラメータ変動の不均衡をERベースOCLの予測バイアスに寄与する重要な要因として挙げる。
• 参考スコア（独自算出の注目度）: 19.18078967631654
• License:
• Abstract: Online continual learning (OCL), which enables AI systems to adaptively learn from non-stationary data streams, is commonly achieved using experience replay (ER)-based methods that retain knowledge by replaying stored past during training. However, these methods face challenges of prediction bias, stemming from deviations in parameter update directions during task transitions. This paper identifies parameter variation imbalance as a critical factor contributing to prediction bias in ER-based OCL. Specifically, using the proposed parameter variation evaluation method, we highlight two types of imbalance: correlation-induced imbalance, where certain parameters are disproportionately updated across tasks, and layer-wise imbalance, where output layer parameters update faster than those in preceding layers. To mitigate the above imbalances, we propose the Parameter Variation Balancing Framework (PVBF), which incorporates: 1) a novel method to compute parameter correlations with previous tasks based on parameter variations, 2) an encourage-and-consolidate (E&C) method utilizing parameter correlations to perform gradient adjustments across all parameters during training, 3) a dual-layer copy weights with reinit (D-CWR) strategy to slowly update output layer parameters for frequently occuring sample categories. Experiments on short and long task sequences demonstrate that PVBF significantly reduces prediction bias and improves OCL performance, achieving up to 47\% higher accuracy compared to existing ER-based methods.
• Abstract（参考訳）: オンライン連続学習(OCL)は、AIシステムが非定常データストリームから適応的に学習できるようにするもので、トレーニング中に記憶された過去を再生することで知識を保持する経験リプレイ(ER)ベースの手法を用いて一般的に達成される。 しかし,これらの手法は,タスク遷移時のパラメータ更新方向のずれから起因して,予測バイアスの課題に直面している。 本稿では,パラメータ変動の不均衡をERベースOCLの予測バイアスに寄与する重要な要因として挙げる。 具体的には,パラメータ変動評価手法を用いて,あるパラメータがタスク間で不均等に更新されるような相関誘起不均衡と,出力層パラメータが先行層よりも高速に更新される階層的不均衡の2つのタイプの不均衡を明らかにする。 上記の不均衡を軽減するために,パラメータ変動バランスフレームワーク(PVBF)を提案する。 1)パラメータ変動に基づく従来のタスクとのパラメータ相関を計算するための新しい手法。 2) パラメータ相関を利用した励振・統合(E&C)法により, トレーニング中のパラメータごとの勾配調整を行う。 3) 複層複層複層複層版では, 頻繁に発生するサンプルカテゴリの出力層パラメータを緩やかに更新する。 短時間および長時間のタスクシーケンスの実験では、PVBFは予測バイアスを著しく低減し、OCL性能を改善し、既存のERベースの手法と比較して最大47倍の精度で達成できることを示した。

関連論文リスト

• Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
  本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。 平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
  論文  参考訳（メタデータ） (2025-01-18T19:58:53Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Mitigating Parameter Degeneracy using Joint Conditional Diffusion Model for WECC Composite Load Model in Power Systems [2.7212274374272543]
  連立条件拡散モデルに基づく逆問題解法(JCDI)を開発した。 JCDIは、パラメータの一般化性を改善するために、マルチイベント観測を同時に入力するジョイントコンディショニングアーキテクチャを組み込んでいる。 WECC CLMのシミュレーション研究により、提案したJCDIは縮退パラメータの不確かさを効果的に低減することを示した。
  論文  参考訳（メタデータ） (2024-11-15T18:53:08Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Straightforward Layer-wise Pruning for More Efficient Visual Adaptation [0.0]
  そこで本研究では,PETL転送モデルに対するSLSと呼ばれるStraightforward層ワイドプルーニング手法を提案する。 本研究は, プレニング指標の保存に焦点をあてたレイヤワイドプルーニングが, ストレージ容量の懸念に対処することを明らかにする。
  論文  参考訳（メタデータ） (2024-07-19T14:10:35Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Towards Accurate Post-training Quantization for Reparameterized Models [6.158896686945439]
  現在のポストトレーニング量子化法(PTQ)は、しばしばかなりの精度の劣化を引き起こす。 これは主にチャネル特異的およびサンプル特異的な外れ値によって引き起こされる。 本稿では、量子化された再パラメータ化モデルの精度を維持する新しいフレームワークであるRepAPQを提案する。
  論文  参考訳（メタデータ） (2024-02-25T15:42:12Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。