論文の概要: Understanding Contrastive Learning via Gaussian Mixture Models

• arxiv url: http://arxiv.org/abs/2411.03517v1
• Date: Tue, 05 Nov 2024 21:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:23:02.141020
• Title: Understanding Contrastive Learning via Gaussian Mixture Models
• Title（参考訳）: ガウス混合モデルによるコントラスト学習の理解
• Authors: Parikshit Bansal, Ali Kavis, Sujay Sanghavi,
• Abstract要約: コントラスト学習(特にInfoNCE損失)を自然な文脈で分析する。 ガウス群が等方的でない場合でも、バニラInfoNCEが最適の下次元部分空間を見つけることができることを示す。 この設定では、対照的な学習が漁師最適部分空間のサブセットを学習し、学習した表現から全てのノイズを効果的に除去することを示す。
• 参考スコア（独自算出の注目度）: 19.51336063093898
• License:
• Abstract: Contrastive learning attempts to learn representations from un-labeled data; it does so via a loss function that encourages the embedding of a point to be close to that of its augmentations, and far from the embeddings of random other points. This simple idea performs remarkably well, yet it is not precisely theoretically understood why this is the case. In this paper we analyze contrastive learning (specifically, the InfoNCE loss) in a natural context: dimensionality reduction in Gaussian Mixture Models. Crucially, we define an augmentation of a data point as being another independent draw from the same underlying mixture component. We show that vanilla InfoNCE is able to find the optimal lower-dimensional subspace even when the Gaussians are not isotropic -- something that vanilla spectral techniques cannot do. We further extend our analyses to multi-modal contrastive learning algorithms (e.g., CLIP). In this setting we show that contrastive learning learns the subset of fisher-optimal subspace, effectively filtering out all the noise from the learnt representations.
• Abstract（参考訳）: 対照的な学習は、ラベルのないデータから表現を学習しようとするが、それは、その拡張のそれに近い点の埋め込みを促進し、ランダムな他の点の埋め込みから遠ざかる損失関数によって行われる。 この単純なアイデアは驚くほどうまく機能するが、なぜこれが正しいのか正確には理解されていない。 本稿では,比較学習(特にInfoNCE損失)を自然な文脈で分析する。 重要なことに、我々はデータポイントの増大を、同じ基礎となる混合成分から別の独立した引き分けとして定義する。 我々は、バニラ InfoNCE がガウス群が等方的でない場合でも最適な低次元部分空間を見つけることができることを示した。 分析結果をマルチモーダルコントラスト学習アルゴリズム(例えばCLIP)に拡張する。 この設定では、対照的な学習が漁師最適部分空間のサブセットを学習し、学習した表現から全てのノイズを効果的に除去することを示す。

関連論文リスト

• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Toward Understanding Generative Data Augmentation [16.204251285425478]
  生成データの増大は、発散項の順序が$o(maxleft( log(m)beta_m, 1 / sqrtm)right)$である場合、より高速に学習できることを示す。 いずれの場合も、生成データの増大は学習速度の速さを損なうものではないが、列車セットが小さい場合、一定のレベルで学習保証を改善することができることを証明している。
  論文  参考訳（メタデータ） (2023-05-27T13:46:08Z)
• Contrastive Learning Is Spectral Clustering On Similarity Graph [12.47963220169677]
  標準InfoNCE損失と対照的な学習は、類似性グラフ上のスペクトルクラスタリングと等価であることを示す。 理論的な洞察に感銘を受け,カーネル・インフォネッションNCEの損失を導入した。
  論文  参考訳（メタデータ） (2023-03-27T11:13:35Z)
• InfoNCE Loss Provably Learns Cluster-Preserving Representations [54.28112623495274]
  InfoNCEが有限個の負のサンプルで学習した表現は、データのクラスタに対して一致していることを示す。 我々の主な成果は、InfoNCEが有限個の負のサンプルで学んだ表現もまた、データのクラスタと一致していることを示すことである。
  論文  参考訳（メタデータ） (2023-02-15T19:45:35Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。