論文の概要: Doubly Perturbed Task-Free Continual Learning
- arxiv url: http://arxiv.org/abs/2312.13027v1
- Date: Wed, 20 Dec 2023 13:50:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 15:26:46.119442
- Title: Doubly Perturbed Task-Free Continual Learning
- Title（参考訳）: 二重摂動型タスクフリー連続学習
- Authors: Byung Hyun Lee, Min-hwan Oh, Se Young Chun
- Abstract要約: タスクフリーオンライン連続学習(TF-CL)は、モデルが明示的なタスク情報なしでタスクを漸進的に学習する難しい問題である。
本稿では,将来のサンプルを考慮に入れた新しいTF-CLフレームワークを提案し,入力データと意思決定の両方に対向的摂動を注入することが有効であることを示す。
提案手法は、TF-CLベンチマークにおいて、最先端のベースライン手法よりも大きなマージンで優れていることを示す。
- 参考スコア（独自算出の注目度）: 21.68539590444844
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Task-free online continual learning (TF-CL) is a challenging problem where
the model incrementally learns tasks without explicit task information.
Although training with entire data from the past, present as well as future is
considered as the gold standard, naive approaches in TF-CL with the current
samples may be conflicted with learning with samples in the future, leading to
catastrophic forgetting and poor plasticity. Thus, a proactive consideration of
an unseen future sample in TF-CL becomes imperative. Motivated by this
intuition, we propose a novel TF-CL framework considering future samples and
show that injecting adversarial perturbations on both input data and
decision-making is effective. Then, we propose a novel method named Doubly
Perturbed Continual Learning (DPCL) to efficiently implement these input and
decision-making perturbations. Specifically, for input perturbation, we propose
an approximate perturbation method that injects noise into the input data as
well as the feature vector and then interpolates the two perturbed samples. For
decision-making process perturbation, we devise multiple stochastic
classifiers. We also investigate a memory management scheme and learning rate
scheduling reflecting our proposed double perturbations. We demonstrate that
our proposed method outperforms the state-of-the-art baseline methods by large
margins on various TF-CL benchmarks.
- Abstract（参考訳）: task-free online continual learning(tf-cl)は、明示的なタスク情報なしで段階的にタスクを学習する難しい問題である。
過去のデータ全体を用いたトレーニングは、現在および未来が金の標準であると考えられているが、TF-CLの現在のサンプルとのナイーブなアプローチは、将来的なサンプルの学習と矛盾し、破滅的な忘れ去られ、可塑性が低下する可能性がある。
これにより、tf-clにおける未発見の将来のサンプルの積極的な考察が必須となる。
この直感に触発されて,将来のサンプルを考慮した新しいTF-CLフレームワークを提案し,入力データと意思決定の両方に対向的摂動を注入することが有効であることを示す。
そこで我々は,これらの入力と意思決定の摂動を効率的に実装するためのDPCL(Douubly Perturbed Continual Learning)という新しい手法を提案する。
具体的には、入力摂動に対して、入力データと特徴ベクトルにノイズを注入し、2つの摂動サンプルを補間する近似摂動法を提案する。
意思決定プロセスの摂動に対して、複数の確率的分類器を考案する。
また,提案する二重摂動を反映したメモリ管理方式と学習率スケジューリングについて検討した。
提案手法は,TF-CLベンチマークにおいて,最先端のベースライン手法よりも高い性能を示す。
関連論文リスト
- Federated Continual Learning Goes Online: Uncertainty-Aware Memory Management for Vision Tasks and Beyond [13.867793835583463]
本稿では,破滅的な記憶を解消するための不確実性を考慮したメモリベース手法を提案する。
特定の特性を持つサンプルを検索し、そのようなサンプル上でモデルを再訓練することで、このアプローチの可能性を実証する。
論文 参考訳（メタデータ） (2024-05-29T09:29:39Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Loss-Free Machine Unlearning [51.34904967046097]
我々は、再学習とラベルなしの両方の機械学習アプローチを提案する。
Retraining-freeアプローチは、損失から派生したFisher情報を利用することが多く、利用できないラベル付きデータを必要とする。
本稿では,モデル出力のl2ノルムの勾配に対して,フィッシャー情報行列の対角線を近似感度に置き換えるSelective Synaptic Dampeningアルゴリズムの拡張を提案する。
論文 参考訳（メタデータ） (2024-02-29T16:15:34Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
生成学習の観点からSED問題を再構築する。
具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。
トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
論文 参考訳（メタデータ） (2023-08-14T17:29:41Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳（メタデータ） (2023-05-20T19:22:40Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-10-12T20:44:09Z) - Continual Learning For On-Device Environmental Sound Classification [63.81276321857279]
デバイス上での環境音の分類のための簡易かつ効率的な連続学習法を提案する。
本手法は,サンプルごとの分類の不確実性を測定することにより,トレーニングの履歴データを選択する。
論文 参考訳（メタデータ） (2022-07-15T12:13:04Z) - Deep Active Learning with Noise Stability [24.54974925491753]
ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。
本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。
本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
論文 参考訳（メタデータ） (2022-05-26T13:21:01Z) - On robust risk-based active-learning algorithms for enhanced decision
support [0.0]
分類モデルは、構造的健康モニタリング(SHM)システムやデジタルツインなどの物理資産管理技術の基本的な構成要素である。
本稿では,サンプリングバイアスの効果に対処する2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-07T17:25:41Z) - Class Incremental Online Streaming Learning [40.97848249237289]
本稿では,これらの課題に対処するために,エンフォリンストリーミング環境におけるクラスインクリメンタル学習のための新しいアプローチを提案する。
提案手法は暗黙的かつ明示的な二重重み正規化と経験的リプレイを利用する。
また、モデルの性能を大幅に向上させる効率的なオンラインメモリ再生および置換バッファ戦略を提案する。
論文 参考訳（メタデータ） (2021-10-20T19:24:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。