論文の概要: Improving Task-free Continual Learning by Distributionally Robust Memory
Evolution
- arxiv url: http://arxiv.org/abs/2207.07256v1
- Date: Fri, 15 Jul 2022 02:16:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-18 14:10:42.373950
- Title: Improving Task-free Continual Learning by Distributionally Robust Memory
Evolution
- Title(参考訳): 分散ロバストメモリ進化によるタスクフリー連続学習の改善
- Authors: Zhenyi Wang, Li Shen, Le Fang, Qiuling Suo, Tiehang Duan, Mingchen Gao
- Abstract要約: タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。
既存の手法は、メモリデータ分布における高い不確実性を見落としている。
本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
- 参考スコア(独自算出の注目度): 9.345559196495746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Task-free continual learning (CL) aims to learn a non-stationary data stream
without explicit task definitions and not forget previous knowledge. The widely
adopted memory replay approach could gradually become less effective for long
data streams, as the model may memorize the stored examples and overfit the
memory buffer. Second, existing methods overlook the high uncertainty in the
memory data distribution since there is a big gap between the memory data
distribution and the distribution of all the previous data examples. To address
these problems, for the first time, we propose a principled memory evolution
framework to dynamically evolve the memory data distribution by making the
memory buffer gradually harder to be memorized with distributionally robust
optimization (DRO). We then derive a family of methods to evolve the memory
buffer data in the continuous probability measure space with Wasserstein
gradient flow (WGF). The proposed DRO is w.r.t the worst-case evolved memory
data distribution, thus guarantees the model performance and learns
significantly more robust features than existing memory-replay-based methods.
Extensive experiments on existing benchmarks demonstrate the effectiveness of
the proposed methods for alleviating forgetting. As a by-product of the
proposed framework, our method is more robust to adversarial examples than
existing task-free CL methods.
- Abstract(参考訳): task-free continual learning(cl)は、明示的なタスク定義なしで非定常データストリームを学習することを目的としている。
広く採用されているメモリリプレイ方式は、保存されたサンプルを記憶しメモリバッファに過度に適合させるため、長いデータストリームに対して徐々に効果が低下する可能性がある。
第2に,メモリデータ分布と従来のデータサンプルの分布との間に大きなギャップがあるため,既存手法ではメモリデータ分布の不確実性を見落としている。
そこで,本研究では,メモリバッファを分散的ロバスト最適化(dro)により徐々に記憶しにくくすることで,メモリデータ分布を動的に進化させる原理的メモリ進化フレームワークを提案する。
次に,wassersteingradient flow (wgf) を用いた連続的確率測度空間におけるメモリバッファデータを進化させる手法群を導出する。
提案したDROは、メモリデータ分散の最悪のケースであり、モデル性能を保証し、既存のメモリ再生方式よりもはるかに堅牢な特徴を学習する。
既存のベンチマークに対する大規模な実験は,提案手法の有効性を示すものである。
提案手法は,提案手法の副産物として,既存のタスクフリーCL法よりも逆例に対して堅牢である。
関連論文リスト
- Memory-Efficient Continual Learning Object Segmentation for Long Video [7.9190306016374485]
本稿では,オンラインVOS手法のメモリ要求を低減し,長ビデオのモデリング精度と一般化を向上する2つの新しい手法を提案する。
事前学習した知識を保存するための継続的学習技術の成功に動機づけられた、Gated-Regularizer Continual Learning (GRCL)とRestruction-based Memory Selection Continual Learning (RMSCL)を提案する。
実験結果から,提案手法はオンラインVOSモデルの性能を8%以上向上し,長期画像データセットのロバスト性の向上を図っている。
論文 参考訳(メタデータ) (2023-09-26T21:22:03Z) - Summarizing Stream Data for Memory-Constrained Online Continual Learning [17.40956484727636]
本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。
計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
論文 参考訳(メタデータ) (2023-05-26T05:31:51Z) - Fused Depthwise Tiling for Memory Optimization in TinyML Deep Neural
Network Inference [1.6094180182513644]
ディープニューラルネットワーク(DNN)推論のためのメモリ最適化は、TinyMLの出現と高い関連性を得る。
DNN推論は、アクティベーションやその他の中間データを格納するために大きな中間実行時バッファを必要とするため、高いメモリ使用率につながる。
本稿では,DNNのメモリ最適化のためのFDT法を提案する。
論文 参考訳(メタデータ) (2023-03-31T08:26:17Z) - Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。
最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。
非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:59:43Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳(メタデータ) (2022-02-14T10:26:23Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳(メタデータ) (2021-08-23T21:03:09Z) - GAN Memory with No Forgetting [71.59992224279651]
生成プロセスを介してデータセットのストリームを記憶できる生涯学習用GANメモリを提案する。
我々のGANメモリは、GANモデルの"スタイル"を調整して、知覚的に異なるターゲット生成を生成できることを認識します。
論文 参考訳(メタデータ) (2020-06-13T03:19:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。