論文の概要: Rethinking Momentum Knowledge Distillation in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2309.02870v2
• Date: Wed, 5 Jun 2024 09:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 04:16:10.075801
• Title: Rethinking Momentum Knowledge Distillation in Online Continual Learning
• Title（参考訳）: オンライン連続学習におけるモメンタム知識蒸留の再考
• Authors: Nicolas Michel, Maorong Wang, Ling Xiao, Toshihiko Yamasaki,
• Abstract要約: そこで本研究では,MKD(Momentum Knowledge Distillation)を多くのフラグシップであるオンライン連続学習(OCL)手法に適用するための,直接的かつ効果的な方法論を提案する。 ImageNet100の既存の最先端の精度を10%以上向上させるとともに、私たちは、OCLのトレーニング中にMKDの内部力学と影響に光を当てました。
• 参考スコア（独自算出の注目度）: 22.60291297308379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online Continual Learning (OCL) addresses the problem of training neural networks on a continuous data stream where multiple classification tasks emerge in sequence. In contrast to offline Continual Learning, data can be seen only once in OCL, which is a very severe constraint. In this context, replay-based strategies have achieved impressive results and most state-of-the-art approaches heavily depend on them. While Knowledge Distillation (KD) has been extensively used in offline Continual Learning, it remains under-exploited in OCL, despite its high potential. In this paper, we analyze the challenges in applying KD to OCL and give empirical justifications. We introduce a direct yet effective methodology for applying Momentum Knowledge Distillation (MKD) to many flagship OCL methods and demonstrate its capabilities to enhance existing approaches. In addition to improving existing state-of-the-art accuracy by more than $10\%$ points on ImageNet100, we shed light on MKD internal mechanics and impacts during training in OCL. We argue that similar to replay, MKD should be considered a central component of OCL. The code is available at \url{https://github.com/Nicolas1203/mkd_ocl}.
• Abstract（参考訳）: オンライン連続学習(OCL)は、複数の分類タスクが順番に現れる連続データストリーム上で、ニューラルネットワークをトレーニングする問題に対処する。 オフラインの連続学習とは対照的に、データはOCLで一度しか見ることができない。 この文脈では、リプレイベースの戦略は印象的な成果を上げており、ほとんどの最先端のアプローチはそれらに大きく依存している。 知識蒸留(KD)はオフラインの連続学習で広く使われているが、OCLでは高い可能性にもかかわらず未公開のままである。 本稿では、OCLにKDを適用する際の課題を分析し、実証的な正当化を与える。 我々は,多くの旗艦OCL法にMKD(Momentum Knowledge Distillation)を適用するための直接的かつ効果的な手法を導入し,既存のアプローチを強化する能力を実証する。 ImageNet100の既存の最先端の精度を10\%以上向上することに加えて、私たちは、OCLでのトレーニング中にMKDの内部力学と影響に光を当てました。 リプレイと同様、MKDはOCLの中心的なコンポーネントであるべきだと我々は主張する。 コードは \url{https://github.com/Nicolas1203/mkd_ocl} で公開されている。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation [38.39340194054917]
  オンライン連続学習(OCL)は、1パスのデータストリームでCLを実行する、より難しいが現実的な設定である。 マルチレベルオンラインシーケンスエキスパート(MOSE)という新しいアプローチを導入する。 MOSEは、モデルを積み重ねたサブエキスパートとして育成し、マルチレベルの監督と逆の自己蒸留を統合する。
  論文  参考訳（メタデータ） (2024-03-30T16:53:10Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
  計算コストに関して,現在の継続学習(CL)手法を評価した。 簡単なベースラインは、この評価の下で最先端のCL法より優れている。 これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
  論文  参考訳（メタデータ） (2023-02-02T12:21:10Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• Weakly Supervised Continual Learning [17.90483695137098]
  この研究は、弱々しい監視された継続的学習(WSCL)を探求する 我々の提案は、教師付き情報が不足している場合に高い柔軟性を示すだけでなく、25%未満のラベルが、完全な監督の下で訓練されたSOTAメソッドに到達したり、性能を上回るのに十分であることを示す。 そこで本手法では, 教師付き情報が少ない場合に高い柔軟性を示すだけでなく, 25%未満のラベルが, 完全監督下で訓練されたSOTA手法に到達したり, 性能を向上させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-08-14T14:38:20Z)
• Continual Competitive Memory: A Neural System for Online Task-Free Lifelong Learning [91.3755431537592]
  我々は,教師なし学習,連続競合記憶(CCM)の新たな形態を提案する。 結果として得られる神経系は、オンライン連続分類問題において破滅的な忘れと戦う効果的なアプローチを提供する。 提案したCCMシステムは,他の競合学習ニューラルモデルよりも優れるだけでなく,最新かつ最先端の学習アプローチと競合する性能が得られることを実証する。
  論文  参考訳（メタデータ） (2021-06-24T20:12:17Z)
• Continual Learning with Echo State Networks [14.467191526351398]
  継続的学習(CL)とは、データが静止せず、モデルは既存の知識を忘れることなく学ぶ必要がある学習セットアップを指します。 本研究では、リカレントコンポーネントが固定されているEcho State Networks(ESN)のコンテキストでCLを導入する。 我々は,esnにおける壊滅的欠落に関する最初の評価を行い,訓練されたリカレントモデルには適用できないcl戦略の使用の利点を強調する。
  論文  参考訳（メタデータ） (2021-05-17T08:49:01Z)
• Online Continual Learning under Extreme Memory Constraints [40.80045285324969]
  メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。 MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。 正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
  論文  参考訳（メタデータ） (2020-08-04T13:25:26Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。