論文の概要: DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning
- arxiv url: http://arxiv.org/abs/2305.00380v1
- Date: Sun, 30 Apr 2023 04:09:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 15:34:25.850509
- Title: DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning
- Title(参考訳): DualHSIC: HSIC-Bottleneckと継続的学習のためのアライメント
- Authors: Zifeng Wang, Zheng Zhan, Yifan Gong, Yucai Shao, Stratis Ioannidis,
Yanzhi Wang, Jennifer Dy
- Abstract要約: リハーサルに基づくアプローチは継続学習(CL)のメインステイである
本稿では,既存のリハーサル方式の性能向上を図るために,DualHSICという新しいCL手法を提案する。
- 参考スコア(独自算出の注目度): 33.85958473873845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rehearsal-based approaches are a mainstay of continual learning (CL). They
mitigate the catastrophic forgetting problem by maintaining a small fixed-size
buffer with a subset of data from past tasks. While most rehearsal-based
approaches study how to effectively exploit the knowledge from the buffered
past data, little attention is paid to the inter-task relationships with the
critical task-specific and task-invariant knowledge. By appropriately
leveraging inter-task relationships, we propose a novel CL method named
DualHSIC to boost the performance of existing rehearsal-based methods in a
simple yet effective way. DualHSIC consists of two complementary components
that stem from the so-called Hilbert Schmidt independence criterion (HSIC):
HSIC-Bottleneck for Rehearsal (HBR) lessens the inter-task interference and
HSIC Alignment (HA) promotes task-invariant knowledge sharing. Extensive
experiments show that DualHSIC can be seamlessly plugged into existing
rehearsal-based methods for consistent performance improvements, and also
outperforms recent state-of-the-art regularization-enhanced rehearsal methods.
Source code will be released.
- Abstract(参考訳): リハーサルベースのアプローチは継続学習(CL)のメインステイである。
過去のタスクから得たデータのサブセットで小さな固定サイズのバッファを維持することで、破滅的な忘れる問題を緩和する。
多くのリハーサルベースのアプローチではバッファされた過去のデータから知識を効果的に活用する方法が研究されているが、重要なタスク固有およびタスク不変の知識とのタスク間関係にはほとんど注意が払われていない。
タスク間関係を適切に活用することにより,既存のリハーサル方式の性能をシンプルかつ効果的な方法で向上させる,DualHSICという新しいCL手法を提案する。
DualHSICは、いわゆるHilbert Schmidt独立基準(HSIC:Hilbert Schmidt independent criterion)に由来する2つの補完的なコンポーネントで構成されている: HSIC-Bottleneck for Rehearsal (HBR)は、タスク間の干渉を軽減し、HSICアライメント(HA)はタスク不変の知識共有を促進する。
大規模な実験により、DualHSICは既存のリハーサルベースメソッドにシームレスに接続して一貫したパフォーマンス向上を実現し、また最近の最先端のレギュラー化強化リハーサル手法よりも優れていることが示された。
ソースコードがリリースされる。
関連論文リスト
- Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised
Semantic Segmentation [79.05949524349005]
AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。
また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
論文 参考訳(メタデータ) (2024-03-02T10:03:21Z) - Weakly Supervised Co-training with Swapping Assignments for Semantic
Segmentation [23.318478633472253]
クラスアクティベーションマップ(CAM)は通常、擬似ラベルを生成するために弱教師付きセマンティックセマンティックセグメンテーション(WSSS)で使用される。
我々は、ガイド付きCAMを組み込んだエンドツーエンドWSSSモデルを提案し、CAMをオンラインで同時最適化しながらセグメンテーションモデルを訓練する。
CoSAは、追加の監督を持つものを含む、既存のマルチステージメソッドをすべて上回る、最初のシングルステージアプローチである。
論文 参考訳(メタデータ) (2024-02-27T21:08:23Z) - OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free
Class-Incremental Learning [10.299813904573695]
分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。
単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
論文 参考訳(メタデータ) (2024-02-06T16:31:11Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Conflict-Based Cross-View Consistency for Semi-Supervised Semantic
Segmentation [34.97083511196799]
半教師付きセマンティックセグメンテーション(SSS)は近年研究の関心が高まっている。
現在の手法は、しばしば擬似ラベリングプロセスの確証バイアスに悩まされる。
本稿では,2分岐協調学習フレームワークに基づく新しいコンフリクトベースクロスビュー整合性(CCVC)手法を提案する。
論文 参考訳(メタデータ) (2023-03-02T14:02:16Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳(メタデータ) (2021-12-16T06:17:07Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep
Reinforcement Learning [102.78958681141577]
SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。
SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
論文 参考訳(メタデータ) (2020-07-09T17:08:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。