論文の概要: Your Contrastive Learning Is Secretly Doing Stochastic Neighbor Embedding

• arxiv url: http://arxiv.org/abs/2205.14814v1
• Date: Mon, 30 May 2022 02:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 13:23:49.553836
• Title: Your Contrastive Learning Is Secretly Doing Stochastic Neighbor Embedding
• Title（参考訳）: 確率的な隣人の埋め込みを秘密裏に行う「Contrastive Learning」
• Authors: Tianyang Hu, Zhili Liu, Fengwei Zhou, Wenjia Wang, Weiran Huang
• Abstract要約: Self-Supervised Contrastive Learning (SSCL)は、ラベルのないデータから強力な特徴を抽出することに成功した。 我々はSSCLの理論的理解に寄与し、その古典的なデータ可視化手法であるNeighbor Embeddingとの関係を明らかにする。
• 参考スコア（独自算出の注目度）: 12.421540007814937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning, especially Self-Supervised Contrastive Learning (SSCL), has achieved great success in extracting powerful features from unlabeled data, enabling comparable performance to the supervised counterpart. In this work, we contribute to the theoretical understanding of SSCL and uncover its connection to the classic data visualization method, Stochastic Neighbor Embedding (SNE). In the perspective of SNE, whose goal is matching pairwise distance, SSCL can be viewed as a special case with the input space pairwise distance specified by constructed "positive" pairs from data augmentation. The established correspondence facilitates deeper theoretical understandings of learned features of SSCL, as well as methodological guidelines for practical improvement. Specifically, through the lens of SNE, not only can we re-derive the alignment and uniformity principle, but also provide novel analysis on domain-agnostic augmentations and implicit bias. To illustrate the practical advantage, we demonstrate that the modifications from SNE to $t$-SNE can also be adopted in the SSCL setting, achieving significant improvement in both in-distribution and out-of-distribution generalization.
• Abstract（参考訳）: コントラスト学習、特に自己監督型コントラスト学習(SSCL)は、ラベルのないデータから強力な特徴を抽出することに成功した。 本研究では,SSCLの理論的理解に寄与し,従来のデータ可視化手法であるStochastic Neighbor Embedding (SNE) との関係を明らかにする。 SNEの観点からは、SSCLは、データ拡張から構築された「正」ペアによって指定された入力空間の対距離を持つ特別なケースとみなすことができる。 確立された対応は、SSCLの学習的特徴のより深い理論的理解と実践的改善のための方法論的ガイドラインを促進する。 具体的には、SNEのレンズを通して、アライメントと均一性原理を再導することができるだけでなく、ドメインに依存しない拡張と暗黙のバイアスに関する新しい分析を提供する。 sneから$t$-sneへの変更はsscl設定でも適用可能であり,分布内および分布外一般化の両方において有意な改善が得られた。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Supervised Stochastic Neighbor Embedding Using Contrastive Learning [4.560284382063488]
  同じクラスに属するサンプルのクラスタは、低次元の埋め込み空間にまとめられる。 我々は、自己教師付きコントラスト的アプローチを完全教師付き設定に拡張し、ラベル情報を効果的に活用する。
  論文  参考訳（メタデータ） (2023-09-15T00:26:21Z)
• What Constitutes Good Contrastive Learning in Time-Series Forecasting? [10.44543726728613]
  自己教師付きコントラスト学習(SSCL)は、様々な領域にわたる表現学習において顕著に改善されている。 本稿では,様々なSSCLアルゴリズムの有効性,学習戦略,モデルアーキテクチャ,それらの相互作用を包括的に分析することを目的とする。 平均二乗誤差(MSE)損失とSSCLを用いたトランスフォーマーモデルのエンドツーエンドトレーニングが時系列予測において最も効果的な手法として現れることを示す。
  論文  参考訳（メタデータ） (2023-06-21T08:05:05Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• ProCC: Progressive Cross-primitive Compatibility for Open-World Compositional Zero-Shot Learning [29.591615811894265]
  Open-World Composal Zero-shot Learning (OW-CZSL) は、コンポジション空間に先立って、画像中の状態とオブジェクトプリミティブの新規なコンポジションを認識することを目的としている。 本稿では,OW-CZSLタスクの学習過程を模倣する,Progressive Cross-primitive Compatibility (ProCC) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-19T10:09:46Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
  自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。 現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。 本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:02:42Z)
• Self-learn to Explain Siamese Networks Robustly [22.913886901196353]
  2つのオブジェクトを比較する学習は、特にラベル付きデータが不足している場合、デジタル法医学、顔認識、脳ネットワーク分析で使用される。 これらのアプリケーションは、公正さや不均衡といった社会的価値を含む高い意思決定を行うため、学習されたモデルを説明することが重要である。
  論文  参考訳（メタデータ） (2021-09-15T15:28:39Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。