論文の概要: Unsupervised Continual Learning via Self-Adaptive Deep Clustering
Approach
- arxiv url: http://arxiv.org/abs/2106.14563v1
- Date: Mon, 28 Jun 2021 10:37:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 14:00:03.781081
- Title: Unsupervised Continual Learning via Self-Adaptive Deep Clustering
Approach
- Title(参考訳): 自己適応型深層クラスタリングアプローチによる教師なし連続学習
- Authors: Mahardhika Pratama, Andri Ashfahani, Edwin Lughofer
- Abstract要約: 本稿では,自己適応型深層学習者(KIERA)の知識保持について述べる。
KIERAは、弾力性のあるネットワーク構造を持つフレキシブル・ディープ・クラスタリング・アプローチの概念から開発され、時間的に変化する環境に対処する。
- 参考スコア(独自算出の注目度): 20.628084936538055
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Unsupervised continual learning remains a relatively uncharted territory in
the existing literature because the vast majority of existing works call for
unlimited access of ground truth incurring expensive labelling cost. Another
issue lies in the problem of task boundaries and task IDs which must be known
for model's updates or model's predictions hindering feasibility for real-time
deployment. Knowledge Retention in Self-Adaptive Deep Continual Learner,
(KIERA), is proposed in this paper. KIERA is developed from the notion of
flexible deep clustering approach possessing an elastic network structure to
cope with changing environments in the timely manner. The centroid-based
experience replay is put forward to overcome the catastrophic forgetting
problem. KIERA does not exploit any labelled samples for model updates while
featuring a task-agnostic merit. The advantage of KIERA has been numerically
validated in popular continual learning problems where it shows highly
competitive performance compared to state-of-the art approaches. Our
implementation is available in
\textit{\url{https://github.com/ContinualAL/KIERA}}.
- Abstract(参考訳): 教師なしの連続学習は、既存の作品の大多数が高価なラベル費用を伴う基礎的真理の無制限アクセスを要求するため、既存の文献において比較的未開の領域である。
もう1つの問題は、モデルのアップデートやモデルの予測で知られなければならないタスク境界とタスクidの問題であり、リアルタイムデプロイメントの実現を妨げている。
本稿では,自己適応型Deep Continual Learner(KIERA)の知識保持について述べる。
kieraは、環境の変化をタイムリーに対処するために、柔軟なネットワーク構造を持つフレキシブルなディープクラスタリングアプローチの概念から開発された。
centroidベースの体験リプレイは、壊滅的な忘れる問題を克服するために行われる。
KIERAは、タスクに依存しないメリットを特徴として、ラベル付きサンプルをモデル更新に利用していない。
KIERAの利点は、最先端技術に比べて高い競争力を示す一般的な連続学習問題において数値的に検証されている。
私たちの実装は、textit{\url{https://github.com/ContinualAL/KIERA}}で利用可能です。
関連論文リスト
- Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳(メタデータ) (2024-01-17T09:01:29Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - CTP: Towards Vision-Language Continual Pretraining via Compatible
Momentum Contrast and Topology Preservation [128.00940554196976]
Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。
VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。
独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
論文 参考訳(メタデータ) (2023-08-14T13:53:18Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - Avalanche: an End-to-End Library for Continual Learning [81.84325803942811]
PyTorchをベースとした継続的学習研究のためのオープンソースライブラリであるAvalancheを提案する。
avalancheは、継続的学習アルゴリズムの高速プロトタイピング、トレーニング、再現可能な評価のための共有とコラボレーションを提供するように設計されている。
論文 参考訳(メタデータ) (2021-04-01T11:31:46Z) - Instance exploitation for learning temporary concepts from sparsely
labeled drifting data streams [15.49323098362628]
ストリーミングデータソースからの継続的な学習がますます人気を博している。
動的で絶え間ない問題に対処することは 新たな課題を引き起こします
最も重要な制限の1つは、有限で完全なデータセットにアクセスできないことである。
論文 参考訳(メタデータ) (2020-09-20T08:11:43Z) - Online Constrained Model-based Reinforcement Learning [13.362455603441552]
主要な要件は、限られた時間とリソース予算内に留まりながら、継続的な状態とアクションスペースを扱う能力である。
本稿では,ガウス過程回帰と回帰水平制御を組み合わせたモデルに基づくアプローチを提案する。
本研究では,自動走行作業におけるオンライン学習のメリットを実証する。
論文 参考訳(メタデータ) (2020-04-07T15:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。