論文の概要: A Plasticity-Aware Method for Continual Self-Supervised Learning in Remote Sensing
- arxiv url: http://arxiv.org/abs/2503.24088v1
- Date: Mon, 31 Mar 2025 13:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:35:04.579255
- Title: A Plasticity-Aware Method for Continual Self-Supervised Learning in Remote Sensing
- Title（参考訳）: リモートセンシングにおける連続的自己監督学習のための塑性認識手法
- Authors: Lars Möllenbrok, Behnood Rasti, Begüm Demir,
- Abstract要約: リモートセンシング(RS)における連続自己教師学習(CSSL)手法の注目度が高まっている。
既存のCSSLメソッドは、新しいタスクを学習しながら、破滅的な忘れを防ぐことに重点を置いている。
本稿では,タスクの逐次学習を目的とした新しいCSSL手法を提案する。
- 参考スコア（独自算出の注目度）: 6.0163252984457145
- License:
- Abstract: Continual self-supervised learning (CSSL) methods have gained increasing attention in remote sensing (RS) due to their capability to learn new tasks sequentially from continuous streams of unlabeled data. Existing CSSL methods, while learning new tasks, focus on preventing catastrophic forgetting. To this end, most of them use regularization strategies to retain knowledge of previous tasks. This reduces the model's ability to adapt to the data of new tasks (i.e., learning plasticity), which can degrade performance. To address this problem, in this paper, we propose a novel CSSL method that aims to learn tasks sequentially, while achieving high learning plasticity. To this end, the proposed method uses a knowledge distillation strategy with an integrated decoupling mechanism. The decoupling is achieved by first dividing the feature dimensions into task-common and task-specific parts. Then, the task-common features are forced to be correlated to ensure memory stability while the task-specific features are forced to be de-correlated facilitating the learning of new features. Experimental results show the effectiveness of the proposed method compared to CaSSLe, which is a widely used CSSL framework, with improvements of up to 1.12% in average accuracy and 2.33% in intransigence in a task-incremental scenario, and 1.24% in average accuracy and 2.01% in intransigence in a class-incremental scenario.
- Abstract（参考訳）: ラベルなしデータの連続ストリームから新しいタスクを逐次学習する能力により、リモートセンシング(RS)においてCSSL(Continuous Self-supervised Learning)手法が注目されている。
既存のCSSLメソッドは、新しいタスクを学習しながら、破滅的な忘れを防ぐことに重点を置いている。
この目的のために、ほとんどの場合、以前のタスクの知識を維持するために正規化戦略を使用する。
これにより、モデルが新しいタスクのデータ(すなわち可塑性を学習する)に適応する能力が低下し、パフォーマンスが低下する。
そこで本研究では,タスクを逐次学習する上で,学習の可塑性を達成しつつ,タスクを逐次学習することを目的とした新しいCSSL手法を提案する。
この目的のために, 本手法では, 統合的なデカップリング機構を備えた知識蒸留戦略を用いる。
分離は、まず特徴次元をタスク共通部分とタスク固有部分に分割することで達成される。
そして、タスク固有の特徴は、新しい特徴の学習を容易にするために非相関でなければならない一方で、メモリの安定性を確保するために、タスク共通特徴の相関を強制する。
実験結果から,CSSLフレームワークとして広く使用されているCaSSLeと比較して,タスクインクリメンタルシナリオでは平均1.12%,非トランジジェンスでは2.33%,クラスインクリメンタルシナリオでは平均1.24%,非トランジジェンスでは2.01%であった。
関連論文リスト
- Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning [10.95493493610559]
マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
論文 参考訳（メタデータ） (2024-02-27T16:54:08Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
In this proposed a Dual-Learner framework with Cumulative。
平均化(DLCPA)
DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-28T08:48:44Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - DIODE: Dilatable Incremental Object Detection [15.59425584971872]
従来のディープラーニングモデルには、以前に学習した知識を保存する能力がない。
多段階インクリメンタル検出タスクのための拡張可能なインクリメンタルオブジェクト検出器(DIODE)を提案する。
提案手法は,新たに学習した各タスクのパラメータ数を1.2%増加させることで,最大6.4%の性能向上を実現する。
論文 参考訳（メタデータ） (2021-08-12T09:45:57Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳（メタデータ） (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。