論文の概要: Representation Learning via Non-Contrastive Mutual Information

• arxiv url: http://arxiv.org/abs/2504.16667v1
• Date: Wed, 23 Apr 2025 12:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 16:28:04.84056
• Title: Representation Learning via Non-Contrastive Mutual Information
• Title（参考訳）: 非競合的相互情報による表現学習
• Authors: Zhaohan Daniel Guo, Bernardo Avila Pires, Khimya Khetarpal, Dale Schuurmans, Bo Dai,
• Abstract要約: コントラスト的手法と非コントラスト的手法の強みを組み合わせた自己監督的目標を開発する。 我々は新たな目的を相互情報非競合(MINC)損失と呼ぶ。
• 参考スコア（独自算出の注目度）: 46.14457004527709
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Labeling data is often very time consuming and expensive, leaving us with a majority of unlabeled data. Self-supervised representation learning methods such as SimCLR (Chen et al., 2020) or BYOL (Grill et al., 2020) have been very successful at learning meaningful latent representations from unlabeled image data, resulting in much more general and transferable representations for downstream tasks. Broadly, self-supervised methods fall into two types: 1) Contrastive methods, such as SimCLR; and 2) Non-Contrastive methods, such as BYOL. Contrastive methods are generally trying to maximize mutual information between related data points, so they need to compare every data point to every other data point, resulting in high variance, and thus requiring large batch sizes to work well. Non-contrastive methods like BYOL have much lower variance as they do not need to make pairwise comparisons, but are much trickier to implement as they have the possibility of collapsing to a constant vector. In this paper, we aim to develop a self-supervised objective that combines the strength of both types. We start with a particular contrastive method called the Spectral Contrastive Loss (HaoChen et al., 2021; Lu et al., 2024), and we convert it into a more general non-contrastive form; this removes the pairwise comparisons resulting in lower variance, but keeps the mutual information formulation of the contrastive method preventing collapse. We call our new objective the Mutual Information Non-Contrastive (MINC) loss. We test MINC by learning image representations on ImageNet (similar to SimCLR and BYOL) and show that it consistently improves upon the Spectral Contrastive loss baseline.
• Abstract（参考訳）: データのラベル付けは非常に時間がかかり、コストがかかります。 SimCLR (Chen et al , 2020) や BYOL (Grill et al , 2020) のような自己教師付き表現学習法は、ラベルのない画像データから有意義な潜在表現を学習することに成功した。 広くは、自己教師型メソッドは2つのタイプに分類される。 1) SimCLR などのコントラスト法,及び 2) BYOLのような非コントラスト法 対照的な方法は一般的に、関連するデータポイント間の相互情報の最大化を目的としているため、すべてのデータポイントを他のすべてのデータポイントと比較する必要がある。 BYOLのような非競合的手法は、ペア比較を行う必要がないため、より低い分散を持つが、定数ベクトルに崩壊する可能性があるため、より実装が難しい。 本稿では,両タイプの強みを組み合わせた自己指導型目標の策定を目指す。 まずスペクトルコントラスト損失(HaoChen et al , 2021; Lu et al , 2024)と呼ばれるスペクトルコントラスト的損失(Spectral Contrastive Loss, 2021; Lu et al , 2024)と呼ばれる特定のコントラスト的損失(Spectral Contrastive Loss, 2021; Lu et al , 2024)から始まり、より一般的な非コントラスト的形式に変換する。 我々は新たな目的を相互情報非競合(MINC)損失と呼ぶ。 我々は、ImageNet上の画像表現(SimCLRやBYOLと似ている)を学習してMINCをテストする。

関連論文リスト

• Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression [102.24287051757469]
  深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
  論文  参考訳（メタデータ） (2025-02-14T22:37:11Z)
• Relation-Guided Adversarial Learning for Data-free Knowledge Transfer [9.069156418033174]
  本稿では,三重項損失を考慮したリレーショナルガイド型逆学習手法を提案する。 本手法は,生成標本のクラス内多様性とクラス間混同を促進することを目的としている。 RGALは従来の最先端手法に比べて精度とデータ効率が大幅に向上した。
  論文  参考訳（メタデータ） (2024-12-16T02:11:02Z)
• Safe Semi-Supervised Contrastive Learning Using In-Distribution Data as Positive Examples [3.4546761246181696]
  本稿では,大量のラベルのないデータを完全に活用するための,自己教師付きコントラスト学習手法を提案する。 その結果,自己指導型コントラスト学習は分類精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-08-03T22:33:13Z)
• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Semi-Supervised End-To-End Contrastive Learning For Time Series Classification [9.46287383389573]
  時系列分類は、金融、医療、センサーデータ分析など、さまざまな分野において重要な課題である。 SLOTS(Semi-supervised Learning fOr Time clasSification)と呼ばれるエンドツーエンドモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-13T04:22:21Z)
• Non-contrastive representation learning for intervals from well logs [58.70164460091879]
  石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。 可能なアプローチの1つは、自己教師付き学習(SSL)である。 私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
  論文  参考訳（メタデータ） (2022-09-28T13:27:10Z)
• Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised Person Re-Identification and Text Authorship Attribution [77.85461690214551]
  完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。 近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。 本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-07T13:08:11Z)
• Delving into Inter-Image Invariance for Unsupervised Visual Representations [108.33534231219464]
  画像間不変学習の役割をよりよく理解するための研究を提案する。 オンラインラベルはオフラインラベルよりも早く収束する。 半硬な負のサンプルは、硬い負のサンプルよりも信頼性が高く、偏りがない。
  論文  参考訳（メタデータ） (2020-08-26T17:44:23Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。