論文の概要: Continual Self-Supervised Learning with Masked Autoencoders in Remote Sensing

• arxiv url: http://arxiv.org/abs/2506.21312v1
• Date: Thu, 26 Jun 2025 14:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.129943
• Title: Continual Self-Supervised Learning with Masked Autoencoders in Remote Sensing
• Title（参考訳）: リモートセンシングにおけるマスクオートエンコーダを用いた継続的自己監督学習
• Authors: Lars Möllenbrok, Behnood Rasti, Begüm Demir,
• Abstract要約: マスク付きオートエンコーダ(CoSMAEと表記される)の文脈における新しい連続的自己教師型学習法を提案する。 実験の結果,CoSMAEは最先端CL法よりも最大4.94%の大幅な改善を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 6.0163252984457145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of continual learning (CL) methods, which aim to learn new tasks in a sequential manner from the training data acquired continuously, has gained great attention in remote sensing (RS). The existing CL methods in RS, while learning new tasks, enhance robustness towards catastrophic forgetting. This is achieved by using a large number of labeled training samples, which is costly and not always feasible to gather in RS. To address this problem, we propose a novel continual self-supervised learning method in the context of masked autoencoders (denoted as CoSMAE). The proposed CoSMAE consists of two components: i) data mixup; and ii) model mixup knowledge distillation. Data mixup is associated with retaining information on previous data distributions by interpolating images from the current task with those from the previous tasks. Model mixup knowledge distillation is associated with distilling knowledge from past models and the current model simultaneously by interpolating their model weights to form a teacher for the knowledge distillation. The two components complement each other to regularize the MAE at the data and model levels to facilitate better generalization across tasks and reduce the risk of catastrophic forgetting. Experimental results show that CoSMAE achieves significant improvements of up to 4.94% over state-of-the-art CL methods applied to MAE. Our code is publicly available at: https://git.tu-berlin.de/rsim/CoSMAE.
• Abstract（参考訳）: 連続学習(CL)手法の開発は,遠隔センシング(RS)において注目されている。 RSの既存のCLメソッドは、新しいタスクを学習しながら、破滅的な忘れ物に対する堅牢性を高める。 これは、多くのラベル付きトレーニングサンプルを使用することで実現される。 この問題に対処するために,マスク付きオートエンコーダ(CoSMAEと表記される)のコンテキストにおいて,新たな自己教師付き学習手法を提案する。 提案されたCoSMAEは2つのコンポーネントから構成される。 i) データ混成,及び 二 混合知識蒸留のモデル データミックスアップは、現在のタスクからのイメージと以前のタスクからのイメージを補間することにより、以前のデータ分散に関する情報を保持することに関連付けられている。 モデル混合知識蒸留は、過去のモデルと現在のモデルからの知識の蒸留に関連付けられ、モデルの重量を補間して知識蒸留の教師を形成する。 2つのコンポーネントは相互に補完し、データとモデルレベルでMAEを規則化し、タスク間のより良い一般化を促進し、破滅的な忘れ込みのリスクを低減する。 実験の結果,CoSMAEは最先端CL法よりも最大4.94%の大幅な改善を実現していることがわかった。 私たちのコードは、https://git.tu-berlin.de/rsim/CoSMAEで公開されています。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation [130.08432609780374]
  3D行動認識では、骨格のモダリティの間に豊富な相補的な情報が存在する。 本稿では,CMD(Cross-modal Mutual Distillation)フレームワークを提案する。 提案手法は,既存の自己管理手法より優れ,新しい記録を多数設定する。
  論文  参考訳（メタデータ） (2022-08-26T06:06:09Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。