論文の概要: Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss

• arxiv url: http://arxiv.org/abs/2106.04156v1
• Date: Tue, 8 Jun 2021 07:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:12:47.257828
• Title: Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
• Title（参考訳）: スペクトルコントラスト損失を有する自己監督型深層学習のための確率的保証
• Authors: Jeff Z. HaoChen, Colin Wei, Adrien Gaidon, Tengyu Ma
• Abstract要約: 自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
• 参考スコア（独自算出の注目度）: 72.62029620566925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in self-supervised learning have advanced the state-of-the-art by relying on the contrastive learning paradigm, which learns representations by pushing positive pairs, or similar examples from the same class, closer together while keeping negative pairs far apart. Despite the empirical successes, theoretical foundations are limited -- prior analyses assume conditional independence of the positive pairs given the same class label, but recent empirical applications use heavily correlated positive pairs (i.e., data augmentations of the same image). Our work analyzes contrastive learning without assuming conditional independence of positive pairs using a novel concept of the augmentation graph on data. Edges in this graph connect augmentations of the same data, and ground-truth classes naturally form connected sub-graphs. We propose a loss that performs spectral decomposition on the population augmentation graph and can be succinctly written as a contrastive learning objective on neural net representations. Minimizing this objective leads to features with provable accuracy guarantees under linear probe evaluation. By standard generalization bounds, these accuracy guarantees also hold when minimizing the training contrastive loss. Empirically, the features learned by our objective can match or outperform several strong baselines on benchmark vision datasets. In all, this work provides the first provable analysis for contrastive learning where guarantees for linear probe evaluation can apply to realistic empirical settings.
• Abstract（参考訳）: 自己教師付き学習における最近の研究は、正のペアや同じクラスからの類似の例を押して表現を学習し、負のペアを遠くに保ちながら密接な関係を保ちながら、コントラスト的学習パラダイムに依拠して最先端の学習を進歩させてきた。 経験的成功にもかかわらず、理論的な基礎は限られており、事前の分析では、同じクラスラベルが与えられた正の対の条件的独立性を仮定するが、最近の経験的応用では、非常に正の対(すなわち、同じ画像のデータ拡張)を用いる。 本研究は,データ上の拡張グラフという新しい概念を用いて,正ペアの条件独立性を仮定することなく,コントラスト学習を解析する。 このグラフのエッジは同一データの拡張を結び、接地木クラスは自然に連結部分グラフを形成する。 本稿では,人口増加グラフ上でスペクトル分解を行い,ニューラルネットワーク表現の対比学習目的として簡潔に記述できる損失を提案する。 この目的を最小化すれば、線形プローブ評価の精度を保証することができる。 標準一般化境界により、これらの精度保証は、訓練のコントラスト損失を最小化するときにも成り立つ。 実証的に、我々の目的によって得られた機能は、ベンチマークビジョンデータセットでいくつかの強力なベースラインにマッチまたは上回る。 この研究は、線形プローブ評価の保証を現実的な経験的設定に適用できる、コントラスト学習のための最初の証明可能な分析を提供する。

関連論文リスト

• Rethinking Positive Pairs in Contrastive Learning [19.149235307036324]
  視覚表現のための普遍的なコントラスト学習フレームワークであるHydraについて述べる。 このアプローチはIN1Kを用いて検証され、1Kの多様なクラスが500,500対からなる。 我々の研究は、任意のペアの共通の特徴を学習することの価値を強調し、弱い関係を持つサンプルペアに対する対照的な学習手法の適用性を広げる可能性がある。
  論文  参考訳（メタデータ） (2024-10-23T18:07:18Z)
• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Pixel is All You Need: Adversarial Trajectory-Ensemble Active Learning for Salient Object Detection [40.97103355628434]
  弱教師付きデータで訓練されたサリエンシモデルがその完全教師付きバージョンの同等のパフォーマンスを達成できるかどうかは不明である。 我々は,新しい対向軌道アンサンブルアクティブラーニング(ATAL)を提案する。 実験の結果、私たちのALTはそのようなポイントラベル付きデータセットを見つけることができ、トレーニングされたサリエンシモデルは、イメージ毎に10の注釈付きポイントしか持たないフル教師付きバージョンの97%$ --99%のパフォーマンスを得ることができた。
  論文  参考訳（メタデータ） (2022-12-13T11:18:08Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• From Canonical Correlation Analysis to Self-supervised Graph Neural Networks [99.44881722969046]
  本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。 提案手法は、7つの公開グラフデータセット上で競合的に動作する。
  論文  参考訳（メタデータ） (2021-06-23T15:55:47Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。