論文の概要: Sy-CON: Symmetric Contrastive Loss for Continual Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2306.05101v1
• Date: Thu, 8 Jun 2023 10:59:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 14:44:38.701299
• Title: Sy-CON: Symmetric Contrastive Loss for Continual Self-Supervised Representation Learning
• Title（参考訳）: Sy-CON: 自己監督型表現学習のための対称的コントラスト損失
• Authors: Sungmin Cha and Taesup Moon
• Abstract要約: 効果的な連続的自己教師型学習(CSSL)のための,Symmetric Contrastive(Sy-CON)損失という,新規で汎用的な損失関数を導入する。 提案手法の有効性を実験により検証し,MoCoをベースとしたSy-CON損失実装が,他の最先端のCSSL手法よりも優れた性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 34.05008087243555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel and general loss function, called Symmetric Contrastive (Sy-CON) loss, for effective continual self-supervised learning (CSSL). We first argue that the conventional loss form of continual learning which consists of single task-specific loss (for plasticity) and a regularizer (for stability) may not be ideal for contrastive loss based CSSL that focus on representation learning. Our reasoning is that, in contrastive learning based methods, the task-specific loss would suffer from decreasing diversity of negative samples and the regularizer may hinder learning new distinctive representations. To that end, we propose Sy-CON that consists of two losses (one for plasticity and the other for stability) with symmetric dependence on current and past models' negative sample embeddings. We argue our model can naturally find good trade-off between the plasticity and stability without any explicit hyperparameter tuning. We validate the effectiveness of our approach through extensive experiments, demonstrating that MoCo-based implementation of Sy-CON loss achieves superior performance compared to other state-of-the-art CSSL methods.
• Abstract（参考訳）: 我々は,CSSL(Continual Self-supervised Learning)のための,Symmetric Contrastive(Sy-CON)損失という,新規で一般的な損失関数を導入する。 1つのタスク固有の損失(可塑性)と1つの正規化子(安定性)からなる連続学習の従来の損失形式は、表現学習に焦点を当てた対比的損失ベースのcsslには理想的ではないかもしれない。 我々の主張は、対照的な学習に基づく手法では、タスク固有の損失は負のサンプルの多様性の低下に悩まされ、正規化器は新たな表現の学習を妨げる可能性があるということである。 そこで本研究では,2つの損失(可塑性と安定性)からなるsy-conを提案する。 当社のモデルは,明示的なハイパーパラメータチューニングを伴わずに,可塑性と安定性の良好なトレードオフを見出すことができる。 提案手法の有効性を実験により検証し,MoCoをベースとしたSy-CON損失実装が,他の最先端CSSL手法と比較して優れた性能を実現することを示す。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
  本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。 提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
  論文  参考訳（メタデータ） (2023-10-10T18:15:24Z)
• Unconstrained Parametrization of Dissipative and Contracting Neural Ordinary Differential Equations [0.9437165725355698]
  本稿では,Deep Neural Networks (DNN) のクラスを連続的に導入し,研究する。 私たちは、提案されているNodeRENを、堅牢な学習と制御にとって重要な特性である、収縮性と分散性で支援する方法を示します。
  論文  参考訳（メタデータ） (2023-04-06T10:02:54Z)
• ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training [110.52785254565518]
  負のフリップ率(NFR)を減少させる既存の方法は、新しいモデルに古いモデルを模倣させたり、アンサンブルを使用したりすることで、全体的な精度を犠牲にしている。 我々は、NFRの低減におけるアンサンブルの役割を分析し、通常決定境界に近くない負のフリップを取り除くことを観察する。 本稿では,誤り率とNFRの両方でパラゴン性能を実現する分類システムを訓練するためのELODI(Ensemble Logit Difference Inhibition)を提案する。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• PI-NLF: A Proportional-Integral Approach for Non-negative Latent Factor Analysis [9.087387628717952]
  非負潜在因子モデル(NLF)は、HDI行列に対する効率的な表現学習を行う。 PI-NLFモデルは、HDI行列の欠落データに対する計算効率と推定精度の両方において、最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-05-05T12:04:52Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction [4.860671253873579]
  本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。 我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
  論文  参考訳（メタデータ） (2020-09-01T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。