論文の概要: Replay-free Online Continual Learning with Self-Supervised MultiPatches

• arxiv url: http://arxiv.org/abs/2502.09140v1
• Date: Thu, 13 Feb 2025 10:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:38.480593
• Title: Replay-free Online Continual Learning with Self-Supervised MultiPatches
• Title（参考訳）: 自己監督型マルチパッチによるリプレイフリーオンライン連続学習
• Authors: Giacomo Cignoni, Andrea Cossu, Alex Gomez-Villa, Joost van de Weijer, Antonio Carta,
• Abstract要約: オンライン連続学習(OCL)メソッドは、一度に数例しか使用できない非定常データストリーム上のモデルを訓練する。 リプレイの使用は、特に厳格なプライバシー規制のあるアプリケーションでは禁止されることがある。 本稿では,既存のOCL自己教師型学習戦略に有効なプラグインであるContinual MultiPatches (CMP)を提案する。
• 参考スコア（独自算出の注目度）: 16.057576723086378
• License:
• Abstract: Online Continual Learning (OCL) methods train a model on a non-stationary data stream where only a few examples are available at a time, often leveraging replay strategies. However, usage of replay is sometimes forbidden, especially in applications with strict privacy regulations. Therefore, we propose Continual MultiPatches (CMP), an effective plug-in for existing OCL self-supervised learning strategies that avoids the use of replay samples. CMP generates multiple patches from a single example and projects them into a shared feature space, where patches coming from the same example are pushed together without collapsing into a single point. CMP surpasses replay and other SSL-based strategies on OCL streams, challenging the role of replay as a go-to solution for self-supervised OCL.
• Abstract（参考訳）: オンライン連続学習(OCL)メソッドは、しばしばリプレイ戦略を活用するために、一度に数例しか使用できない非定常データストリーム上のモデルを訓練する。 しかし、特に厳格なプライバシー規制のあるアプリケーションでは、リプレイの使用は禁止されることがある。 そこで我々は,既存のOCL自己教師型学習戦略のための効果的なプラグインであるContinuous MultiPatches (CMP)を提案する。 CMPは単一の例から複数のパッチを生成し、それらを共有機能空間に投影する。 CMPは、OCLストリーム上のリプレイやその他のSSLベースの戦略を超越し、自己管理型OCLのゴーツーソリューションとしてのリプレイの役割に挑戦している。

関連論文リスト

• InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions [29.682289142922752]
  InsCLは、Wasserstein Distanceによって計算されたタスク類似性に基づいて、以前のデータを動的に再生する。 InsCLはRandom Replayと比較して3.0 Relative Gain、No Replayに比べて27.96 Relative Gainのパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-03-18T03:10:36Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning [63.72975421109622]
  CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。 CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
  論文  参考訳（メタデータ） (2023-03-06T17:48:32Z)
• Class-Incremental Learning with Repetition [17.89286445250716]
  繰り返しがストリームの定義に埋め込まれるCIR(Class-Incremental with Repetition)シナリオのファミリーに焦点を当てる。 1つのデータセットといくつかの解釈可能なパラメータから始まる幅広いCIRストリームを生成する2つのストリームジェネレータを提案する。 次に、繰り返しを利用して、ストリームに存在する自然な不均衡に対処する新しいリプレイ戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-26T20:19:10Z)
• Replay For Safety [51.11953997546418]
  経験的なリプレイでは、過去の遷移はメモリバッファに格納され、学習中に再使用される。 適切なバイアスサンプリング方式を用いることで,エファンセーフなポリシーを実現できることを示す。
  論文  参考訳（メタデータ） (2021-12-08T11:10:57Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Same State, Different Task: Continual Reinforcement Learning without Interference [21.560701568064864]
  連続学習(CL)における主な課題は破滅的な忘れことであり、これは新しいタスクを学ぶ際に、以前にマスターされたタスクのパフォーマンスが低下したときに生じる。 干渉の有無で共有再生バッファを持つ単一ニューラルネットワーク予測器をベースとした既存のCL法が失敗することを示す。 本稿では,この課題に対処する簡単な方法であるOWLを提案する。OWLは,共有特徴抽出層を用いて因子化ポリシーを学習するが,それぞれが新しいタスクを専門とする分離ヘッドを学習する。
  論文  参考訳（メタデータ） (2021-06-05T17:55:10Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)
• Online Continual Learning on Sequences [9.603184477806954]
  オンライン連続学習(オンライン連続学習、英: Online Continuousal Learning、OCL)とは、トレーニングサンプルを再考することなく、連続したデータストリームから時間とともに学習できるシステムである。 OCLに対処する機械学習モデルは、新しい入力ストリームから学習する際に、隠れた表現が破壊されるか、完全に上書きされるような、テキスト触媒的忘れを軽減する必要がある。
  論文  参考訳（メタデータ） (2020-03-20T05:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。