Fugu-MT 論文翻訳(概要): CroMo-Mixup: Augmenting Cross-Model Representations for Continual Self-Supervised Learning

論文の概要: CroMo-Mixup: Augmenting Cross-Model Representations for Continual Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2407.12188v1
Date: Tue, 16 Jul 2024 21:34:26 GMT
ステータス: 処理完了
システム内更新日: 2024-07-18 19:08:36.736423
Title: CroMo-Mixup: Augmenting Cross-Model Representations for Continual Self-Supervised Learning
Title（参考訳）: CroMo-Mixup: 継続的自己監督型学習のためのクロスモデル表現の拡張
Authors: Erum Mushtaq, Duygu Nur Yaldiz, Yavuz Faruk Bakman, Jie Ding, Chenyang Tao, Dimitrios Dimitriadis, Salman Avestimehr,
Abstract要約: 自己教師付き学習(SSL)によって、CSSLがタスク混乱問題により敏感になることを示す。この課題に触発され、新しいクロスモデル機能Mixup(CroMo-Mixup)フレームワークを提案する。我々はCroMo-Mixupの有効性を評価し,タスクID予測と全タスクの平均線形精度を改善した。
参考スコア（独自算出の注目度）: 26.106800232140618
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual self-supervised learning (CSSL) learns a series of tasks sequentially on the unlabeled data. Two main challenges of continual learning are catastrophic forgetting and task confusion. While CSSL problem has been studied to address the catastrophic forgetting challenge, little work has been done to address the task confusion aspect. In this work, we show through extensive experiments that self-supervised learning (SSL) can make CSSL more susceptible to the task confusion problem, particularly in less diverse settings of class incremental learning because different classes belonging to different tasks are not trained concurrently. Motivated by this challenge, we present a novel cross-model feature Mixup (CroMo-Mixup) framework that addresses this issue through two key components: 1) Cross-Task data Mixup, which mixes samples across tasks to enhance negative sample diversity; and 2) Cross-Model feature Mixup, which learns similarities between embeddings obtained from current and old models of the mixed sample and the original images, facilitating cross-task class contrast learning and old knowledge retrieval. We evaluate the effectiveness of CroMo-Mixup to improve both Task-ID prediction and average linear accuracy across all tasks on three datasets, CIFAR10, CIFAR100, and tinyImageNet under different class-incremental learning settings. We validate the compatibility of CroMo-Mixup on four state-of-the-art SSL objectives. Code is available at \url{https://github.com/ErumMushtaq/CroMo-Mixup}.
Abstract（参考訳）: 連続自己教師付き学習(CSSL)は、ラベルのないデータに基づいて連続的に一連のタスクを学習する。継続的な学習の2つの主な課題は、破滅的な忘れとタスクの混乱である。 CSSL問題は、悲惨な忘れがちな課題に対処するために研究されているが、タスクの混乱に対処する作業はほとんど行われていない。本研究は,CSSLがタスク混乱問題,特に異なるタスクに属する異なるクラスが同時に訓練されないため,クラスインクリメンタルラーニングの少ない環境において,自己教師型学習(SSL)により CSSL がより受け入れやすいことを示す。この課題に触発され、2つの重要なコンポーネントを通じてこの問題に対処する新しいクロスモデル機能Mixup(CroMo-Mixup)フレームワークを提案する。 1)タスク間でサンプルを混合して負のサンプルの多様性を高めるクロスタスクデータ混成 2) クロスモデルの特徴は, 混合サンプルの現在のモデルと古いモデルから得られた埋め込みと原画像との類似性を学習し, クロスタスククラスコントラスト学習と古い知識検索を容易にする。 CIFAR10, CIFAR100, littleImageNetの3つのデータセットにおいて, タスクID予測と平均線形精度の両方を改善するためにCroMo-Mixupの有効性を評価した。最先端SSLの4つの目標に対して,CroMo-Mixupの互換性を検証する。コードは \url{https://github.com/ErumMushtaq/CroMo-Mixup} で公開されている。

関連論文リスト

Mix from Failure: Confusion-Pairing Mixup for Long-Tailed Recognition [14.009773753739282]
ロングテール画像認識は、人工的な制服ではなく、現実世界のクラス分布を考慮した問題である。本稿では,マイノリティクラスにおけるサンプルの多様性を高めるために,トレーニングデータセットの強化という,異なる観点からの問題に取り組む。本手法,すなわち Confusion-Pairing Mixup (CP-Mix) は,モデルの混乱分布を推定し,データ不足問題に対処する。
論文参考訳（メタデータ） (2024-11-12T08:08:31Z)
Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
論文参考訳（メタデータ） (2024-06-28T10:05:58Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Improving Long-tailed Object Detection with Image-Level Supervision by Multi-Task Collaborative Learning [18.496765732728164]
マルチタスク協調方式において,画像レベルの監視を活用して検出能力を向上する新しいフレームワークCLISを提案する。 CLISは、テールカテゴリーを10.1ポイント改善した31.1のAPを達成し、新しい最先端技術を確立した。
論文参考訳（メタデータ） (2022-10-11T16:02:14Z)
Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
論文参考訳（メタデータ） (2021-11-30T14:49:59Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
Adversarial Training of Variational Auto-encoders for Continual Zero-shot Learning [1.90365714903665]
本稿では,全タスクの情報を保持する共有VAEモジュールとタスク固有のプライベートVAEモジュールで構成されるハイブリッドネットワークを提案する。モデルのサイズは各タスクで増加し、タスク固有のスキルの破滅的な忘れを防止する。 ZSL (Zero-Shot Learning) と GZSL (Generalized Zero-Shot Learning) による逐次学習よりも優れていることを示す。
論文参考訳（メタデータ） (2021-02-07T11:21:24Z)
XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup [60.07531696857743]
クロスドメイン・ミックスアップ(XMixup)は、深層移動学習のためのマルチタスクパラダイムを改善する。 XMixupはソースデータセットから補助サンプルを選択し、単純なミックスアップ戦略を通じてトレーニングサンプルを拡張する。実験の結果、XMixupは平均で1.9%精度が向上した。
論文参考訳（メタデータ） (2020-07-20T16:42:29Z)
Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。