論文の概要: Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation

• arxiv url: http://arxiv.org/abs/2404.00417v1
• Date: Sat, 30 Mar 2024 16:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:49:50.869994
• Title: Orchestrate Latent Expertise: Advancing Online Continual Learning with Multi-Level Supervision and Reverse Self-Distillation
• Title（参考訳）: Orchestrate Latent Expertise: マルチレベルスーパービジョンとリバースセルフ蒸留によるオンライン連続学習の促進
• Authors: HongWei Yan, Liyuan Wang, Kaisheng Ma, Yi Zhong,
• Abstract要約: オンライン連続学習(OCL)は、1パスのデータストリームでCLを実行する、より難しいが現実的な設定である。 マルチレベルオンラインシーケンスエキスパート(MOSE)という新しいアプローチを導入する。 MOSEは、モデルを積み重ねたサブエキスパートとして育成し、マルチレベルの監督と逆の自己蒸留を統合する。
• 参考スコア（独自算出の注目度）: 38.39340194054917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To accommodate real-world dynamics, artificial intelligence systems need to cope with sequentially arriving content in an online manner. Beyond regular Continual Learning (CL) attempting to address catastrophic forgetting with offline training of each task, Online Continual Learning (OCL) is a more challenging yet realistic setting that performs CL in a one-pass data stream. Current OCL methods primarily rely on memory replay of old training samples. However, a notable gap from CL to OCL stems from the additional overfitting-underfitting dilemma associated with the use of rehearsal buffers: the inadequate learning of new training samples (underfitting) and the repeated learning of a few old training samples (overfitting). To this end, we introduce a novel approach, Multi-level Online Sequential Experts (MOSE), which cultivates the model as stacked sub-experts, integrating multi-level supervision and reverse self-distillation. Supervision signals across multiple stages facilitate appropriate convergence of the new task while gathering various strengths from experts by knowledge distillation mitigates the performance decline of old tasks. MOSE demonstrates remarkable efficacy in learning new samples and preserving past knowledge through multi-level experts, thereby significantly advancing OCL performance over state-of-the-art baselines (e.g., up to 7.3% on Split CIFAR-100 and 6.1% on Split Tiny-ImageNet).
• Abstract（参考訳）: 現実世界のダイナミックスに対応するために、人工知能システムはオンラインの方法で順次到着するコンテンツに対処する必要がある。 通常の連続学習(CL)は、各タスクのオフライントレーニングで破滅的な忘れに対処しようとするが、オンライン連続学習(OCL)は、1パスのデータストリームでCLを実行するより困難だが現実的な設定である。 現在のOCLメソッドは、主に古いトレーニングサンプルのメモリリプレイに依存している。 しかし、CLからOCLへの顕著な差は、リハーサルバッファの使用に伴う過剰適合性ジレンマ、すなわち、新しいトレーニングサンプル(アンダーフィッティング)の不十分な学習と、古いトレーニングサンプル(オーバーフィッティング)の繰り返し学習(オーバーフィッティング)に起因している。 この目的のために我々は,マルチレベルオンラインシーケンスエキスパート (MOSE) という新たなアプローチを導入する。 複数の段階にわたるスーパービジョン信号は、知識蒸留によって専門家から様々な強みを集めながら、新しいタスクの適切な収束を促進し、古いタスクのパフォーマンス低下を緩和する。 MOSEは、新しいサンプルの学習や、複数レベルの専門家による過去の知識の保存において顕著な効果を示し、OCLのパフォーマンスを最先端のベースライン(例えば、Split CIFAR-100で最大7.3%、Split Tiny-ImageNetで最大6.1%)よりも大幅に向上させる。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Theory on Mixture-of-Experts in Continual Learning [72.42497633220547]
  継続学習(CL)は、時間とともに現れる新しいタスクに適応する能力のため、大きな注目を集めている。 モデルが新しいタスクに適応するにつれて、(古いタスクの)破滅的な忘れがCLの大きな問題として認識されるようになった。 MoEモデルは近年,ゲーティングネットワークを用いることで,CLの破滅的忘れを効果的に軽減することが示されている。
  論文  参考訳（メタデータ） (2024-06-24T08:29:58Z)
• DELTA: Decoupling Long-Tailed Online Continual Learning [7.507868991415516]
  Long-Tailed Online Continual Learning (LTOCL)は、クラス不均衡なデータストリームのシーケンシャルな到着から新しいタスクを学ぶことを目的としている。 DELTAは,学習表現の強化を目的とした非結合型学習手法である。 我々は,DELTAが既存のOCL手法を超越して,インクリメンタル学習の能力を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-04-06T02:33:04Z)
• ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
  パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。 ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。 我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
  論文  参考訳（メタデータ） (2024-03-29T11:31:12Z)
• Dynamic Sub-graph Distillation for Robust Semi-supervised Continual Learning [52.046037471678005]
  半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。 半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:40:12Z)
• Plasticity-Optimized Complementary Networks for Unsupervised Continual Learning [22.067640536948545]
  継続的教師なし表現学習(CURL)の研究は、自己教師付き学習(SSL)技術の改善から大いに恩恵を受けている。 SSLを使った既存のCURLメソッドは、ラベルなしで高品質な表現を学習できるが、マルチタスクのデータストリームで学ぶ場合、顕著なパフォーマンス低下がある。 本稿では,従来の知識の維持の義務を解き放ち,新たなタスクに最適に集中できる専門家ネットワークを育成することを提案する。
  論文  参考訳（メタデータ） (2023-09-12T09:31:34Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning [21.36130180647864]
  モデルをスクラッチからトレーニングして、新たに生成されたデータに適応することは、時間がかかり非効率である。 破滅的な忘れを軽減できるトレーニングアーキテクチャを導入します。 Kaizenは、競争力のあるビジョンベンチマークにおいて、以前のSSLモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2023-03-30T09:08:57Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。