論文の概要: Provable Contrastive Continual Learning
- arxiv url: http://arxiv.org/abs/2405.18756v1
- Date: Wed, 29 May 2024 04:48:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 18:48:25.180479
- Title: Provable Contrastive Continual Learning
- Title（参考訳）: 確率的コントラスト型連続学習
- Authors: Yichen Wen, Zhiquan Tan, Kaipeng Zheng, Chuanlong Xie, Weiran Huang,
- Abstract要約: 我々は,従来のタスクのトレーニング損失によって,モデルの性能がいかに境界づけられているかを明らかにする理論的な性能保証を確立する。
これらの保証の理論的解析から着想を得て,CILAと呼ばれる新しいコントラスト型連続学習アルゴリズムを提案する。
提案手法は,標準ベンチマークの精度を向上し,新しい最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 7.6989463205452555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning requires learning incremental tasks with dynamic data distributions. So far, it has been observed that employing a combination of contrastive loss and distillation loss for training in continual learning yields strong performance. To the best of our knowledge, however, this contrastive continual learning framework lacks convincing theoretical explanations. In this work, we fill this gap by establishing theoretical performance guarantees, which reveal how the performance of the model is bounded by training losses of previous tasks in the contrastive continual learning framework. Our theoretical explanations further support the idea that pre-training can benefit continual learning. Inspired by our theoretical analysis of these guarantees, we propose a novel contrastive continual learning algorithm called CILA, which uses adaptive distillation coefficients for different tasks. These distillation coefficients are easily computed by the ratio between average distillation losses and average contrastive losses from previous tasks. Our method shows great improvement on standard benchmarks and achieves new state-of-the-art performance.
- Abstract（参考訳）: 継続的な学習には、動的データ分散による漸進的なタスクの学習が必要である。
これまでに, コントラスト損失と蒸留損失を併用して連続学習の訓練を行うことで, 高い性能が得られることが確認されている。
しかし、私たちの知る限りでは、この対照的な連続的な学習フレームワークは、説得力のある理論的な説明を欠いている。
本研究では,このギャップを理論的性能保証の確立によって埋める。これは,モデルの性能が,対照的な連続学習フレームワークにおいて,従来のタスクのトレーニング損失によっていかに境界づけられているかを明らかにする。
我々の理論的な説明は、事前学習が継続的な学習に役立つという考えをさらに支持する。
これらの保証の理論的解析から着想を得て、異なるタスクに適応蒸留係数を用いるCILAと呼ばれる新しいコントラスト型連続学習アルゴリズムを提案する。
これらの蒸留係数は、従来の平均蒸留損失と平均コントラスト損失との比で容易に計算できる。
提案手法は,標準ベンチマークの精度を向上し,新しい最先端性能を実現する。
関連論文リスト
- Impact of Evidence Theory Uncertainty on Training Object Detection Models [3.447848701446987]
エビデンス理論は、基底の真理ラベルと予測の関係を確立するために用いられる。
その後、不確実性尺度を使用して、その後の反復に対するフィードバック損失を重み付けする。
論文 参考訳（メタデータ） (2024-12-23T09:16:10Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。
継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Normalization and effective learning rates in reinforcement learning [52.59508428613934]
正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。
正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。
そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
論文 参考訳（メタデータ） (2024-07-01T20:58:01Z) - Contrastive Continual Learning with Importance Sampling and
Prototype-Instance Relation Distillation [14.25441464051506]
本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。
また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
論文 参考訳（メタデータ） (2024-03-07T15:47:52Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - The Staged Knowledge Distillation in Video Classification: Harmonizing
Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。
本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。
提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
論文 参考訳（メタデータ） (2023-07-11T12:10:42Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳（メタデータ） (2022-03-14T15:02:13Z) - The Power of Contrast for Feature Learning: A Theoretical Analysis [42.20116348668721]
対照的な学習は、標準的な自己エンコーダや生成的敵ネットワークよりも優れていることを示す。
また、教師付きコントラスト学習におけるラベル付きデータの影響についても説明する。
論文 参考訳（メタデータ） (2021-10-06T03:10:28Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - About contrastive unsupervised representation learning for
classification and its convergence [2.6782615615913343]
我々は、その性能を保証するための対照的な学習に関する理論的枠組みを構築している。
複数の負のサンプルとマルチウェイ分類のためのトレーニングにこれらの結果の拡張を提供する。
また、過度にパラメータ化されたディープニューラルエンコーダの勾配降下によるコントラストトレーニング誤差の最小化のための収束保証も提供する。
論文 参考訳（メタデータ） (2020-12-02T10:08:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。