論文の概要: Improved Elastic Weight Consolidation as an Optimization Constraint for Continual Learning
- arxiv url: http://arxiv.org/abs/2611.16039v1
- Date: Wed, 11 Nov 2026 21:47:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.277905
- Title: Improved Elastic Weight Consolidation as an Optimization Constraint for Continual Learning
- Title(参考訳): 連続学習における最適化制約としての弾性重み強化
- Abstract要約: 最適化制約(CLOC)として継続学習を導入する。
新しい訓練は、学習行動の選択された機能を保持する必要がある。
EWCは各試料を損失勾配のスケールで暗黙的に重み付けするので、よく適合した試料は重要性を失う。
EWCの変種はEWCに適合または改善され、EWC-DRより優れている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Elastic Weight Consolidation (EWC) is a widely used regularization-based technique for continual learning, protecting performance on old tasks with a quadratic penalty whose empirical Fisher is usually justified through probabilistic curvature. We instead introduce Continual Learning as an Optimization Constraint (CLOC): new training must preserve chosen functionals of learned behavior. EWC's empirical Fisher is exactly the first-order form of this constraint when the preserved functional is each sample's loss. This derivation exposes a flaw: EWC implicitly weights each sample by the scale of its loss gradient, so well-fitted samples lose importance. EWC-DR observed this failure in classification; CLOC identifies its general cause. Improved Elastic Weight Consolidation (IEWC) penalizes output changes according to the first-order approximation of each old sample's loss level set, removing the weighting for any differentiable loss and output geometry, and prevents corrupt samples from dominating the importance matrix. Across classification, segmentation, language, forecasting, and diffusion, IEWC variants match or improve on EWC and outperform EWC-DR. In a held-out evaluation with validation-selected hyperparameters, uniform IEWC improves ImageNet-R accuracy over matched EWC by 2.00 percentage points (95% CI 0.93-3.07).
- Abstract(参考訳): EWC(Elastic Weight Consolidation)は、連続学習において広く用いられている正規化に基づく手法であり、経験的フィッシャーが確率的曲率によって正当化される2次ペナルティによって古いタスクのパフォーマンスを保護する。
代わりに、最適化制約(CLOC)として継続学習を導入する。
EWCの経験的フィッシャーは、保存された関数が各サンプルの損失であるとき、まさにこの制約の1次形式である。
EWCは各試料を損失勾配のスケールで暗黙的に重み付けするので、よく適合した試料は重要性を損なう。
EWC-DRは、この失敗を分類において観察し、CLOCはその一般的な原因を特定した。
改良されたElastic Weight Consolidation (IEWC)は、各古いサンプルの損失レベルセットの1次近似に従って出力変化をペナライズし、異なる損失および出力幾何学の重み付けを取り除き、破損したサンプルが重要行列を支配するのを防ぐ。
分類、セグメンテーション、言語、予測、拡散の範囲で、IEWCの変種はEWCに適合または改善され、EWC-DRより優れる。
検証選択されたハイパーパラメータによるホールトアウト評価では、均一なIEWCは、一致したEWCよりもイメージNet-Rの精度を2.00パーセント向上する(95% CI 0.93-3.07)。
関連論文リスト
- How Edge of Stability Hinders SCAFFOLD in Federated Optimization [48.656242232026756]
SCAFFOLDは通常、より単純なFedAvgよりもパフォーマンスが良くないことを示す。
このギャップは、エッジ・オブ・安定性(EoS)の存在と、フェデレート最適化におけるプログレッシブ・シャープ化によるものである。
我々は,世界目標の勾配を推定するSCAFFOLDの能力が,EoSで著しく劣化していることを観察した。
論文 参考訳(メタデータ) (2026-08-26T14:45:21Z) - Beyond the False Trade-off: Adaptive EWC for Stealthy and Generalizable T2I Backdoors [3.570505598206177]
ステルステキスト・トゥ・イメージ(T2I)バックドアアタックには、モデルの忠実性を維持することが不可欠である。
既存の方法は、限られた正規化を提供する出力ベースの蒸留に依存している。
本稿では,パラメータベースの代替手段としてElastic Weight Consolidation (EWC)を導入する。
論文 参考訳(メタデータ) (2026-05-08T07:09:59Z) - Elastic Weight Consolidation Done Right for Continual Learning [12.226768097023475]
EWC(Elastic Weight Consolidation)は、勾配に基づいて重みを推定する。
EWCのFiher Information Matrix (FIM)への依存は、勾配の消失と不正確な重要度推定をもたらす。
本稿では,EWC の重要度推定を補正する簡易かつ効果的な修正である Logits Reversal (LR) 演算を提案する。
論文 参考訳(メタデータ) (2026-03-19T08:06:56Z) - A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
外接線は正規化と共に機能する。
アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。
外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
論文 参考訳(メタデータ) (2026-01-30T13:29:45Z) - Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。
DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
論文 参考訳(メタデータ) (2025-03-11T04:43:33Z) - SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。
離散選択問題を連続的な部分集合最適化フレームワークに変換する。
両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
論文 参考訳(メタデータ) (2025-02-14T12:35:21Z) - Improving Predictive Performance and Calibration by Weight Fusion in
Semantic Segmentation [18.47581580698701]
ネットワークの深いアンサンブルの予測を平均化することは、予測性能と校正を改善するための一般的かつ効果的な方法である。
単純な重み融合(WF)ストラテジーは予測性能と校正を著しく向上させる可能性があることを示す。
論文 参考訳(メタデータ) (2022-07-22T17:24:13Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳(メタデータ) (2022-05-27T11:13:17Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳(メタデータ) (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。