論文の概要: On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning
- arxiv url: http://arxiv.org/abs/2210.06443v1
- Date: Wed, 12 Oct 2022 17:45:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 13:00:36.596955
- Title: On the Effectiveness of Lipschitz-Driven Rehearsal in Continual Learning
- Title(参考訳): 連続学習におけるリプシッツ駆動リハーサルの効果について
- Authors: Lorenzo Bonicelli and Matteo Boschini and Angelo Porrello and Concetto
Spampinato and Simone Calderara
- Abstract要約: データの小さなプールに対する繰り返し最適化は、必然的に厳密で不安定な決定境界につながる。
リプシッツ・ドリヴエン・リハーサル(Lidschitz-DrivEn Rehearsal, LiDER)を提案する。
大規模な実験により,LiDERの適用はいくつかの最先端のリハーサルCL手法に安定した性能向上をもたらすことが示された。
- 参考スコア(独自算出の注目度): 17.179898279925155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rehearsal approaches enjoy immense popularity with Continual Learning (CL)
practitioners. These methods collect samples from previously encountered data
distributions in a small memory buffer; subsequently, they repeatedly optimize
on the latter to prevent catastrophic forgetting. This work draws attention to
a hidden pitfall of this widespread practice: repeated optimization on a small
pool of data inevitably leads to tight and unstable decision boundaries, which
are a major hindrance to generalization. To address this issue, we propose
Lipschitz-DrivEn Rehearsal (LiDER), a surrogate objective that induces
smoothness in the backbone network by constraining its layer-wise Lipschitz
constants w.r.t.\ replay examples. By means of extensive experiments, we show
that applying LiDER delivers a stable performance gain to several
state-of-the-art rehearsal CL methods across multiple datasets, both in the
presence and absence of pre-training. Through additional ablative experiments,
we highlight peculiar aspects of buffer overfitting in CL and better
characterize the effect produced by LiDER. Code is available at
https://github.com/aimagelab/LiDER
- Abstract(参考訳): リハーサルアプローチは、継続的学習(CL)実践者には非常に人気がある。
これらの方法は、前に遭遇したデータ分布のサンプルを小さなメモリバッファで収集し、その後、破滅的な忘れを防止するために、後者を何度も最適化する。
この研究は、この広範にわたるプラクティスの隠れた落とし穴に注意を向けている: データの小さなプールに対する繰り返し最適化は、必然的に、厳密で不安定な決定境界をもたらす。
この問題に対処するため,我々はリプシッツ定数 w.r.t.\ リプレイ例を制限してバックボーンネットワークの滑らかさを誘導するサロゲート目標であるリプシッツ駆動リハーサル(lider)を提案する。
広範にわたる実験により,LiDERの適用は,事前学習の有無に関わらず,複数のデータセットにわたる最先端のリハーサルCL手法に安定した性能向上をもたらすことが示された。
さらなるアブレーション実験を通じて、CLにおけるバッファオーバーフィッティングの特異な側面を強調し、LiDERが生み出す効果をよりよく特徴づける。
コードはhttps://github.com/aimagelab/LiDERで入手できる。
関連論文リスト
- BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳(メタデータ) (2024-02-04T10:52:43Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Primal-Dual Continual Learning: Stability and Plasticity through
Lagrange Multipliers [93.17404959573146]
制約付き最適化問題を直接実行することは可能かつ有益であることを示す。
メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。
準最適境界を導出し、様々な連続学習ベンチマークで理論的結果を実証的に相関させる。
論文 参考訳(メタデータ) (2023-09-29T21:23:27Z) - Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from
KKT Conditions for Margin Maximization [59.038366742773164]
ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。
本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
論文 参考訳(メタデータ) (2023-03-02T18:24:26Z) - Efficiently Computing Local Lipschitz Constants of Neural Networks via
Bound Propagation [79.13041340708395]
リプシッツ定数は、堅牢性、公正性、一般化など、ニューラルネットワークの多くの性質と結びついている。
既存のリプシッツ定数の計算法は、相対的に緩い上界を生成するか、小さなネットワークに制限される。
ニューラルネットワークの局所リプシッツ定数$ell_infty$をクラーク・ヤコビアンのノルムを強く上向きに上向きに計算する効率的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-10-13T22:23:22Z) - Chordal Sparsity for Lipschitz Constant Estimation of Deep Neural
Networks [77.82638674792292]
ニューラルネットワークのリプシッツ定数は、画像分類の堅牢性、コントローラ設計の安全性、トレーニングデータを超えた一般化性を保証する。
リプシッツ定数の計算はNPハードであるため、リプシッツ定数を推定する手法はスケーラビリティと精度のトレードオフをナビゲートする必要がある。
本研究では,LipSDPと呼ばれる半定値プログラミング手法のスケーラビリティフロンティアを大幅に推し進め,精度の損失をゼロにする。
論文 参考訳(メタデータ) (2022-04-02T11:57:52Z) - Enhancing Mixup-based Semi-Supervised Learning with Explicit Lipschitz
Regularization [5.848916882288327]
半教師付き学習(SSL)は、大きなラベルのないデータ上での神経機能の振る舞いを活用することで、この課題を緩和する。
成功例は、ニューラルネットワークのグローバルなスムーズさを強制する、SSLでのミックスアップ戦略の採用である。
ニューラルネットワークの勾配関数のリプシッツ定数をバウンドすることで、ミキサップは神経機能の滑らかさを改善する。
論文 参考訳(メタデータ) (2020-09-23T23:19:19Z) - Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。
ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。
このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
論文 参考訳(メタデータ) (2020-03-02T22:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。