Fugu-MT 論文翻訳(概要): Plasticity-Optimized Complementary Networks for Unsupervised Continual Learning

論文の概要: Plasticity-Optimized Complementary Networks for Unsupervised Continual Learning

arxiv url: http://arxiv.org/abs/2309.06086v1
Date: Tue, 12 Sep 2023 09:31:34 GMT
ステータス: 処理完了
システム内更新日: 2023-09-13 13:40:36.766507
Title: Plasticity-Optimized Complementary Networks for Unsupervised Continual Learning
Title（参考訳）: 非教師なし連続学習のための可塑性最適化相補ネットワーク
Authors: Alex Gomez-Villa, Bartlomiej Twardowski, Kai Wang, Joost van de Weijer
Abstract要約: 継続的教師なし表現学習(CURL)の研究は、自己教師付き学習(SSL)技術の改善から大いに恩恵を受けている。 SSLを使った既存のCURLメソッドは、ラベルなしで高品質な表現を学習できるが、マルチタスクのデータストリームで学ぶ場合、顕著なパフォーマンス低下がある。本稿では,従来の知識の維持の義務を解き放ち,新たなタスクに最適に集中できる専門家ネットワークを育成することを提案する。
参考スコア（独自算出の注目度）: 22.067640536948545
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continuous unsupervised representation learning (CURL) research has greatly benefited from improvements in self-supervised learning (SSL) techniques. As a result, existing CURL methods using SSL can learn high-quality representations without any labels, but with a notable performance drop when learning on a many-tasks data stream. We hypothesize that this is caused by the regularization losses that are imposed to prevent forgetting, leading to a suboptimal plasticity-stability trade-off: they either do not adapt fully to the incoming data (low plasticity), or incur significant forgetting when allowed to fully adapt to a new SSL pretext-task (low stability). In this work, we propose to train an expert network that is relieved of the duty of keeping the previous knowledge and can focus on performing optimally on the new tasks (optimizing plasticity). In the second phase, we combine this new knowledge with the previous network in an adaptation-retrospection phase to avoid forgetting and initialize a new expert with the knowledge of the old network. We perform several experiments showing that our proposed approach outperforms other CURL exemplar-free methods in few- and many-task split settings. Furthermore, we show how to adapt our approach to semi-supervised continual learning (Semi-SCL) and show that we surpass the accuracy of other exemplar-free Semi-SCL methods and reach the results of some others that use exemplars.
Abstract（参考訳）: 連続教師なし表現学習(curl)研究は、自己教師なし学習(ssl)技術の改善から大きな恩恵を受けている。その結果、SSLを使った既存のCURLメソッドは、ラベルなしで高品質な表現を学習できるが、マルチタスクのデータストリームで学ぶと顕著なパフォーマンス低下が発生する。我々は、これは、忘れることを防ぐために課される正規化損失によって引き起こされるものであり、最適塑性-安定性のトレードオフにつながる:それらは、受信データ(低可塑性)に完全に適応しないか、新しいSSLプリテキストタスク(低安定性)に完全に適応することが許された場合に重大な忘れが生じる。本研究では,これまでの知識を保ち,新たなタスク(可塑性の最適化)に最適な作業に集中できる専門家ネットワークを育成することを提案する。第2フェーズでは,新たな知識と従来のネットワークとを組み合わせることで,新たな専門家の忘れを回避し,古いネットワークの知識を初期化する。提案手法は,数段および多段の分割設定において,他のCURL例のない手法よりも優れていることを示す実験を行った。さらに, 半教師付き連続学習(Semi-SCL)へのアプローチの適応方法を示し, 従来の半SCL手法の精度を超越し, 模範を用いたいくつかの結果に到達したことを示す。

関連論文リスト

Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
Context-Aware Predictive Coding: A Representation Learning Framework for WiFi Sensing [0.0]
WiFiセンサーは、様々なセンサーアプリケーションに無線信号を利用する新興技術である。本稿では,CAPC(Context-Aware Predictive Coding)と呼ばれる新しいSSLフレームワークを紹介する。 CAPCは問題のないデータから効果的に学習し、多様な環境に適応する。評価の結果、CAPCは他のSSLメソッドや教師付きアプローチよりも優れているだけでなく、優れた一般化能力も達成できることがわかった。
論文参考訳（メタデータ） (2024-09-16T17:59:49Z)
Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
論文参考訳（メタデータ） (2024-07-14T17:40:40Z)
Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文参考訳（メタデータ） (2023-08-28T07:55:01Z)
Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文参考訳（メタデータ） (2022-11-10T05:29:43Z)
Effective Self-supervised Pre-training on Low-compute Networks without Distillation [6.530011859253459]
報告された自己教師型学習のパフォーマンスは、標準的な教師付き事前学習よりも大きなマージンで遅れている。以前の作業のほとんどは、低スループットネットワークのキャパシティボトルネックによるパフォーマンスの低下を理由としている。我々は、現実的な制約の原因となる有害要因と、それらが自己監督型低コンプット設定に固有のものであるかどうかについて、より詳しく検討する。
論文参考訳（メタデータ） (2022-10-06T10:38:07Z)
Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-22T06:30:44Z)
DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文参考訳（メタデータ） (2022-03-17T02:38:49Z)
Improving Self-supervised Learning with Hardness-aware Dynamic Curriculum Learning: An Application to Digital Pathology [2.2742357407157847]
自己教師付き学習(SSL)は、最近、多くの画像解析タスクに有用な汎用的な視覚表現を学習する大きな可能性を示している。既存のSSLメソッドは、ラベル付きトレーニングインスタンスの数が少ない場合や、転送ドメイン間のドメインシフトが重要である場合、ダウンストリームタスクに一般化できない。本稿では,カリキュラム学習のレンズを用いて,自己指導型事前学習表現の改善を試みる。
論文参考訳（メタデータ） (2021-08-16T15:44:48Z)
Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文参考訳（メタデータ） (2020-12-31T08:21:37Z)
Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。