論文の概要: DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning

• arxiv url: http://arxiv.org/abs/2305.00380v1
• Date: Sun, 30 Apr 2023 04:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 15:34:25.850509
• Title: DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning
• Title（参考訳）: DualHSIC: HSIC-Bottleneckと継続的学習のためのアライメント
• Authors: Zifeng Wang, Zheng Zhan, Yifan Gong, Yucai Shao, Stratis Ioannidis, Yanzhi Wang, Jennifer Dy
• Abstract要約: リハーサルに基づくアプローチは継続学習(CL)のメインステイである 本稿では,既存のリハーサル方式の性能向上を図るために,DualHSICという新しいCL手法を提案する。
• 参考スコア（独自算出の注目度）: 33.85958473873845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rehearsal-based approaches are a mainstay of continual learning (CL). They mitigate the catastrophic forgetting problem by maintaining a small fixed-size buffer with a subset of data from past tasks. While most rehearsal-based approaches study how to effectively exploit the knowledge from the buffered past data, little attention is paid to the inter-task relationships with the critical task-specific and task-invariant knowledge. By appropriately leveraging inter-task relationships, we propose a novel CL method named DualHSIC to boost the performance of existing rehearsal-based methods in a simple yet effective way. DualHSIC consists of two complementary components that stem from the so-called Hilbert Schmidt independence criterion (HSIC): HSIC-Bottleneck for Rehearsal (HBR) lessens the inter-task interference and HSIC Alignment (HA) promotes task-invariant knowledge sharing. Extensive experiments show that DualHSIC can be seamlessly plugged into existing rehearsal-based methods for consistent performance improvements, and also outperforms recent state-of-the-art regularization-enhanced rehearsal methods. Source code will be released.
• Abstract（参考訳）: リハーサルベースのアプローチは継続学習(CL)のメインステイである。 過去のタスクから得たデータのサブセットで小さな固定サイズのバッファを維持することで、破滅的な忘れる問題を緩和する。 多くのリハーサルベースのアプローチではバッファされた過去のデータから知識を効果的に活用する方法が研究されているが、重要なタスク固有およびタスク不変の知識とのタスク間関係にはほとんど注意が払われていない。 タスク間関係を適切に活用することにより,既存のリハーサル方式の性能をシンプルかつ効果的な方法で向上させる,DualHSICという新しいCL手法を提案する。 DualHSICは、いわゆるHilbert Schmidt独立基準(HSIC:Hilbert Schmidt independent criterion)に由来する2つの補完的なコンポーネントで構成されている: HSIC-Bottleneck for Rehearsal (HBR)は、タスク間の干渉を軽減し、HSICアライメント(HA)はタスク不変の知識共有を促進する。 大規模な実験により、DualHSICは既存のリハーサルベースメソッドにシームレスに接続して一貫したパフォーマンス向上を実現し、また最近の最先端のレギュラー化強化リハーサル手法よりも優れていることが示された。 ソースコードがリリースされる。

関連論文リスト

• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Visual Prompt Tuning in Null Space for Continual Learning [51.96411454304625]
  既存のプロンプトチューニング手法は、継続学習(CL)における印象的な性能を示す。 本稿では,従来のタスクの特徴に代表される部分空間に直交する方向のプロンプトを調整し,各タスクを学習することを目的とする。 実際には、即時勾配予測を実装するために、実効的なヌル空間に基づく近似解が提案されている。
  論文  参考訳（メタデータ） (2024-06-09T05:57:40Z)
• Revisiting and Maximizing Temporal Knowledge in Semi-supervised Semantic Segmentation [7.005068872406135]
  平均教師と共同学習に基づくアプローチは、確認バイアスと結合問題を緩和するために用いられる。 これらのアプローチは、複雑なトレーニングパイプラインとかなりの計算負担を伴うことが多い。 本稿では,トレーニングプロセス中に得られた時間的知識を最大限活用することにより,制約を効果的に緩和するPrevMatchフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T03:54:59Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
  Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。 AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
  論文  参考訳（メタデータ） (2024-05-22T20:29:15Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [10.299813904573695]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。