論文の概要: Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2204.07596v1
• Date: Fri, 15 Apr 2022 18:00:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 14:07:44.170802
• Title: Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning
• Title（参考訳）: 完全バランス: 教師付きコントラスト学習の伝達とロバスト性の改善
• Authors: Mayee F. Chen, Daniel Y. Fu, Avanika Narayan, Michael Zhang, Zhao Song, Kayvon Fatahalian, and Christopher R\'e
• Abstract要約: 教師付きコントラスト学習(SupCon)は、正確なモデルをトレーニングするための有望な方法である。 最近の研究は、これらの表現を"スプレッドアウト"することでそれらを改善することを示唆しているが、正確なメカニズムは理解されていない。 そこで本研究では,SupConにクラス条件InfoNCE損失とクラス条件オートエンコーダを追加することで,5つの標準データセット間の粗大な転送において,11.1ポイントのリフトを実現していることを示す。
• 参考スコア（独自算出の注目度）: 28.41485129700785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An ideal learned representation should display transferability and robustness. Supervised contrastive learning (SupCon) is a promising method for training accurate models, but produces representations that do not capture these properties due to class collapse -- when all points in a class map to the same representation. Recent work suggests that "spreading out" these representations improves them, but the precise mechanism is poorly understood. We argue that creating spread alone is insufficient for better representations, since spread is invariant to permutations within classes. Instead, both the correct degree of spread and a mechanism for breaking this invariance are necessary. We first prove that adding a weighted class-conditional InfoNCE loss to SupCon controls the degree of spread. Next, we study three mechanisms to break permutation invariance: using a constrained encoder, adding a class-conditional autoencoder, and using data augmentation. We show that the latter two encourage clustering of latent subclasses under more realistic conditions than the former. Using these insights, we show that adding a properly-weighted class-conditional InfoNCE loss and a class-conditional autoencoder to SupCon achieves 11.1 points of lift on coarse-to-fine transfer across 5 standard datasets and 4.7 points on worst-group robustness on 3 datasets, setting state-of-the-art on CelebA by 11.5 points.
• Abstract（参考訳）: 理想的な学習表現は、転送性と堅牢性を示すべきである。 supervised contrastive learning (supcon)は正確なモデルをトレーニングするための有望な方法だが、クラス内のすべてのポイントが同じ表現にマップされる場合、クラス崩壊によってこれらのプロパティをキャプチャしない表現を生成する。 最近の研究は、これらの表現を「スプレッドアウト」することでそれらを改善することを示唆しているが、正確なメカニズムはよく分かっていない。 スプレッドはクラス内の置換に不変であるため、スプレッドだけではより良い表現には不十分であると主張する。 代わりに、正しい拡散の度合いと、この不変性を壊すメカニズムの両方が必要である。 最初に、SupConに重み付けされたクラス条件InfoNCE損失を追加すると、スプレッドの度合いが制御されることを示す。 次に,制約付きエンコーダの使用,クラス条件付きオートエンコーダの追加,データ拡張の3つのメカニズムについて検討した。 後者の2つは,より現実的な条件下での潜在サブクラスのクラスタリングを促進する。 これらの知見から,SupConにクラス条件InfoNCE損失とクラス条件オートエンコーダを追加することで,5つの標準データセット間の粗大な転送において1.1ポイント,3つのデータセット上で最悪のグループロバスト性が4.7ポイント,CelebA上での最先端技術が11.5ポイント向上することを示す。

関連論文リスト

• A Unified Contrastive Loss for Self-Training [3.3454373538792552]
  自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。 本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。 私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-09-11T14:22:41Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
  最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。 本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。 そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:37:43Z)
• The Triad of Failure Modes and a Possible Way Out [7.977229957867868]
  本稿では,障害モードの回避を目的とした,クラスタベースの自己教師型学習(SSL)のための新たな目的関数を提案する。 この目的は、(i)表現崩壊を罰する生成項、(ii)データ拡張への不変性を促進する用語、(ii)クラスタ崩壊を罰する統一項の3つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2023-09-27T05:54:14Z)
• Adaptive manifold for imbalanced transductive few-shot learning [16.627512688664513]
  適応マニフォールド(Adaptive Manifold)という,不均衡なトランスダクティブ・ショット・ラーニングに対処する新しいアルゴリズムを提案する。 提案手法は,ラベル付きサポート例とラベルなしクエリの基盤となる多様体を利用して,クエリごとのクラス確率分布を予測する。
  論文  参考訳（メタデータ） (2023-04-27T15:42:49Z)
• When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method [40.25499257944916]
  実世界のデータセットは騒々しくラベル付けされ、クラス不均衡である。 本稿では,表現キャリブレーション手法RCALを提案する。 我々は,表現キャリブレーションの有効性を論じるために理論的結果を得る。
  論文  参考訳（メタデータ） (2022-11-20T11:36:48Z)
• EquiMod: An Equivariance Module to Improve Self-Supervised Learning [77.34726150561087]
  自己教師付き視覚表現法は教師付き学習性能とのギャップを埋めている。 これらの手法は、データ拡張によって生成された関連する合成入力の埋め込みの類似性を最大化することに依存する。 学習された潜在空間を構成する一般同値加群であるEquiModを導入する。
  論文  参考訳（メタデータ） (2022-11-02T16:25:54Z)
• Data Augmentation-free Unsupervised Learning for 3D Point Cloud Understanding [61.30276576646909]
  ソフトクラスタリング(SoftClu)と呼ばれる,移動可能な点レベルの特徴を学習するための,ポイントクラウドに対する拡張不要な教師なしアプローチを提案する。 我々は,クラスタに対するポイントのアフィリエイトをプロキシとして利用し,擬似ラベル予測タスクを通じて自己学習を可能にする。
  論文  参考訳（メタデータ） (2022-10-06T10:18:16Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Do Deep Networks Transfer Invariances Across Classes? [123.84237389985236]
  ニュアンス変換を学習するための生成的アプローチが、クラス間での不変性の伝達にどのように役立つかを示す。 この結果から,不均衡分布や細長い分布に対して分類器が不規則に一般化する理由が示唆された。
  論文  参考訳（メタデータ） (2022-03-18T04:38:18Z)
• Posterior Re-calibration for Imbalanced Datasets [33.379680556475314]
  トレーニングラベルの分布が極めて不均衡な場合、ニューラルネットワークは性能が良くない。 我々は、KL分割に基づく最適化によって解決できる訓練後の事前バランス手法を導出する。 6つの異なるデータセットと5つの異なるアーキテクチャで得られた結果は、芸術的正確性を示している。
  論文  参考訳（メタデータ） (2020-10-22T15:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。