論文の概要: Sy-CON: Symmetric Contrastive Loss for Continual Self-Supervised
Representation Learning
- arxiv url: http://arxiv.org/abs/2306.05101v1
- Date: Thu, 8 Jun 2023 10:59:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 14:44:38.701299
- Title: Sy-CON: Symmetric Contrastive Loss for Continual Self-Supervised
Representation Learning
- Title(参考訳): Sy-CON: 自己監督型表現学習のための対称的コントラスト損失
- Authors: Sungmin Cha and Taesup Moon
- Abstract要約: 効果的な連続的自己教師型学習(CSSL)のための,Symmetric Contrastive(Sy-CON)損失という,新規で汎用的な損失関数を導入する。
提案手法の有効性を実験により検証し,MoCoをベースとしたSy-CON損失実装が,他の最先端のCSSL手法よりも優れた性能を実現することを示す。
- 参考スコア(独自算出の注目度): 34.05008087243555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel and general loss function, called Symmetric Contrastive
(Sy-CON) loss, for effective continual self-supervised learning (CSSL). We
first argue that the conventional loss form of continual learning which
consists of single task-specific loss (for plasticity) and a regularizer (for
stability) may not be ideal for contrastive loss based CSSL that focus on
representation learning. Our reasoning is that, in contrastive learning based
methods, the task-specific loss would suffer from decreasing diversity of
negative samples and the regularizer may hinder learning new distinctive
representations. To that end, we propose Sy-CON that consists of two losses
(one for plasticity and the other for stability) with symmetric dependence on
current and past models' negative sample embeddings. We argue our model can
naturally find good trade-off between the plasticity and stability without any
explicit hyperparameter tuning. We validate the effectiveness of our approach
through extensive experiments, demonstrating that MoCo-based implementation of
Sy-CON loss achieves superior performance compared to other state-of-the-art
CSSL methods.
- Abstract(参考訳): 我々は,CSSL(Continual Self-supervised Learning)のための,Symmetric Contrastive(Sy-CON)損失という,新規で一般的な損失関数を導入する。
1つのタスク固有の損失(可塑性)と1つの正規化子(安定性)からなる連続学習の従来の損失形式は、表現学習に焦点を当てた対比的損失ベースのcsslには理想的ではないかもしれない。
我々の主張は、対照的な学習に基づく手法では、タスク固有の損失は負のサンプルの多様性の低下に悩まされ、正規化器は新たな表現の学習を妨げる可能性があるということである。
そこで本研究では,2つの損失(可塑性と安定性)からなるsy-conを提案する。
当社のモデルは,明示的なハイパーパラメータチューニングを伴わずに,可塑性と安定性の良好なトレードオフを見出すことができる。
提案手法の有効性を実験により検証し,MoCoをベースとしたSy-CON損失実装が,他の最先端CSSL手法と比較して優れた性能を実現することを示す。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。
提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
論文 参考訳(メタデータ) (2023-10-10T18:15:24Z) - Gradient constrained sharpness-aware prompt learning for vision-language
models [99.74832984957025]
本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。
最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。
本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-09-14T17:13:54Z) - Tuned Contrastive Learning [77.67209954169593]
そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。
TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。
我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
論文 参考訳(メタデータ) (2023-05-18T03:26:37Z) - Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector [8.13916229438606]
塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。
本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
論文 参考訳(メタデータ) (2021-10-15T07:37:20Z) - Influence-Balanced Loss for Imbalanced Visual Classification [9.958715010698157]
我々は、バランスの取れたトレーニングフェーズで使われる新たな損失を導き、過度に適合した決定境界の原因となるサンプルの影響を軽減する。
複数のベンチマークデータセットの実験において,提案手法の有効性を実証し,提案手法の損失が最先端のコスト感受性損失法より優れていることを示す。
論文 参考訳(メタデータ) (2021-10-06T01:12:40Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳(メタデータ) (2021-02-12T16:31:24Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳(メタデータ) (2021-01-05T06:25:47Z) - On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。
滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文 参考訳(メタデータ) (2020-08-15T02:32:09Z) - On the Loss Landscape of Adversarial Training: Identifying Challenges
and How to Overcome Them [57.957466608543676]
機械学習モデルの損失景観に及ぼす対人訓練の影響を解析する。
曲率の増加と散乱勾配の増大により, 対向損失景観は最適化にはあまり好ましくないことを示す。
論文 参考訳(メタデータ) (2020-06-15T13:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。