論文の概要: Self-Damaging Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.02990v1
• Date: Sun, 6 Jun 2021 00:04:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-13 23:32:52.003918
• Title: Self-Damaging Contrastive Learning
• Title（参考訳）: 自己障害型コントラスト学習
• Authors: Ziyu Jiang, Tianlong Chen, Bobak Mortazavi, Zhangyang Wang
• Abstract要約: ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
• 参考スコア（独自算出の注目度）: 92.34124578823977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent breakthrough achieved by contrastive learning accelerates the pace for deploying unsupervised training on real-world data applications. However, unlabeled data in reality is commonly imbalanced and shows a long-tail distribution, and it is unclear how robustly the latest contrastive learning methods could perform in the practical scenario. This paper proposes to explicitly tackle this challenge, via a principled framework called Self-Damaging Contrastive Learning (SDCLR), to automatically balance the representation learning without knowing the classes. Our main inspiration is drawn from the recent finding that deep models have difficult-to-memorize samples, and those may be exposed through network pruning. It is further natural to hypothesize that long-tail samples are also tougher for the model to learn well due to insufficient examples. Hence, the key innovation in SDCLR is to create a dynamic self-competitor model to contrast with the target model, which is a pruned version of the latter. During training, contrasting the two models will lead to adaptive online mining of the most easily forgotten samples for the current target model, and implicitly emphasize them more in the contrastive loss. Extensive experiments across multiple datasets and imbalance settings show that SDCLR significantly improves not only overall accuracies but also balancedness, in terms of linear evaluation on the full-shot and few-shot settings. Our code is available at: https://github.com/VITA-Group/SDCLR.
• Abstract（参考訳）: 対照的な学習によって達成された最近のブレークスルーは、教師なしトレーニングを現実世界のデータアプリケーションに展開するペースを加速させる。 しかし、実際のラベル付きデータは一般に不均衡であり、長い尾の分布を示しており、最新のコントラスト学習手法が現実的なシナリオでどの程度頑健であるかは明らかでない。 本稿では,自傷的コントラスト学習(self-damaging contrastive learning, sdclr)と呼ばれる原則フレームワークを用いて,クラスを知らずに表現学習を自動的にバランスさせる手法を提案する。 我々の主なインスピレーションは、ディープモデルがサンプルを記憶し難いこと、そしてそれらがネットワークプルーニングによって露呈されることを最近の発見から得ている。 さらに、ロングテールサンプルは、不十分な例のためにモデルがうまく学習するのは難しいと仮定するのも自然である。 したがって、SDCLRの重要な革新は、ターゲットモデルとは対照的に、動的自己競合モデルを作ることである。 トレーニング中、2つのモデルを対比することで、現在のターゲットモデルにとって最も簡単に忘れられるサンプルのオンラインマイニングが適応され、対照的な損失が暗黙的に強調される。 複数のデータセットにわたる大規模な実験と不均衡設定により、SDCLRは全体的な精度だけでなく、フルショット設定と少数ショット設定の線形評価においても、バランス性も大幅に向上することが示された。 私たちのコードは、https://github.com/VITA-Group/SDCLR.comで利用可能です。

関連論文リスト

• Adversarial Training Over Long-Tailed Distribution [14.977028531774945]
  長い尾の分布に従うデータセットの逆トレーニングについて検討する。 バランスの取れたデータセットにおける従来の敵の訓練と比較すると、このプロセスは不均一な敵の例を生成するジレンマに陥る。 我々は、新しい対人訓練フレームワーク、Re-balancing Adversarial Training (REAT)を提案する。
  論文  参考訳（メタデータ） (2023-07-14T07:01:48Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [55.13320831716942]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を漸進的に学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。 本稿では,事前学習した表現を用いた場合の分布差を低減するために,クラスプロトタイプのデコレーションの重要性を示す。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Quantifying and Mitigating Privacy Risks of Contrastive Learning [4.909548818641602]
  我々は、会員推定と属性推論のレンズを通して、コントラスト学習の最初のプライバシ分析を行う。 その結果,コントラストモデルではメンバシップ推論攻撃に弱いが,教師付きモデルに比べて属性推論攻撃に弱いことが示唆された。 この状況を改善するため,プライバシ保護型コントラスト学習機構であるTalosを提案する。
  論文  参考訳（メタデータ） (2021-02-08T11:38:11Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。