論文の概要: Contrastive and Non-Contrastive Self-Supervised Learning Recover Global
and Local Spectral Embedding Methods
- arxiv url: http://arxiv.org/abs/2205.11508v1
- Date: Mon, 23 May 2022 17:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 14:58:45.317010
- Title: Contrastive and Non-Contrastive Self-Supervised Learning Recover Global
and Local Spectral Embedding Methods
- Title（参考訳）: コントラスト的・非コントラスト的自己監督型学習はグローバルおよび局所スペクトル埋め込み法を復元する
- Authors: Randall Balestriero, Yann LeCun
- Abstract要約: 自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。
本稿では,これらの制約に対処するため,スペクトル多様体学習の指導の下で統一的な枠組みを提案する。
- 参考スコア（独自算出の注目度）: 19.587273175563745
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-Supervised Learning (SSL) surmises that inputs and pairwise positive
relationships are enough to learn meaningful representations. Although SSL has
recently reached a milestone: outperforming supervised methods in many
modalities... the theoretical foundations are limited, method-specific, and
fail to provide principled design guidelines to practitioners. In this paper,
we propose a unifying framework under the helm of spectral manifold learning to
address those limitations. Through the course of this study, we will rigorously
demonstrate that VICReg, SimCLR, BarlowTwins et al. correspond to eponymous
spectral methods such as Laplacian Eigenmaps, Multidimensional Scaling et al.
This unification will then allow us to obtain (i) the closed-form optimal
representation for each method, (ii) the closed-form optimal network parameters
in the linear regime for each method, (iii) the impact of the pairwise
relations used during training on each of those quantities and on downstream
task performances, and most importantly, (iv) the first theoretical bridge
between contrastive and non-contrastive methods towards global and local
spectral embedding methods respectively, hinting at the benefits and
limitations of each. For example, (a) if the pairwise relation is aligned with
the downstream task, any SSL method can be employed successfully and will
recover the supervised method, but in the low data regime, SimCLR or VICReg
with high invariance hyper-parameter should be preferred; (b) if the pairwise
relation is misaligned with the downstream task, BarlowTwins or VICReg with
small invariance hyper-parameter should be preferred.
- Abstract（参考訳）: 自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。
sslは、多くのモダリティにおいて教師付きメソッドを上回っており、理論的基礎は限定的で、メソッド固有であり、実践者に原則化された設計ガイドラインを提供していない。
本稿では,これらの制約に対処するために,スペクトル多様体学習の推進力に基づく統一フレームワークを提案する。
この研究の過程で、VICReg, SimCLR, BarlowTwins et al. がラプラシア固有写像や多次元スケーリングなどの固有スペクトル法に対応することを厳密に証明する。
この統合によって私たちは
(i)各方法の閉形式最適表現
(ii) 各手法の線形状態における閉形式最適ネットワークパラメータ。
三 訓練中に用いた対関係がこれらの量及び下流タスクのパフォーマンスに与える影響、及び、最も重要なこと。
(iv)大域的スペクトル埋め込み法と局所的スペクトル埋め込み法への対比的手法と非矛盾的手法の間の最初の理論的橋渡しは、それぞれの利点と限界をほのめかしている。
例えば
(a) 対関係が下流タスクと整合している場合、SSLメソッドは正常に使用でき、教師付きメソッドを回復するが、低データ構造では、高分散ハイパーパラメータを持つSimCLRまたはVICRegが好ましい。
b) 対関係が下流課題とミスアライメントされている場合、小さな不分散ハイパーパラメータを持つbarlowtwinsまたはvicregが好ましい。
関連論文リスト
- On The Global Convergence Of Online RLHF With Neural Parametrization [36.239015146313136]
Reinforcement Learning from Human Feedback (RLHF)は、大きな言語モデルと人間の価値を結びつけることを目的としている。
RLHFは、教師付き微調整、報酬学習、政策学習を含む3段階のプロセスである。
本稿では、パラメータ化設定におけるAIアライメントのための2段階の定式化を提案し、この問題を解決するための一階法を提案する。
論文 参考訳（メタデータ） (2024-10-21T03:13:35Z) - Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文 参考訳（メタデータ） (2024-02-14T16:10:42Z) - SOFARI: High-Dimensional Manifold-Based Inference [8.860162863559163]
我々は2つのSOFARI変種を導入し、強力で弱い潜伏要因を扱えるようにし、後者は広範囲のアプリケーションをカバーする。
そこで我々は,SOFARIが潜在左因子ベクトルと特異値の両方に対して偏差補正推定器を提供し,その平均零正規分布を疎分散で楽しむことを示す。
本稿では,SOFARIの有効性を概説し,シミュレーション例による理論結果の正当化と,経済予測における実データの適用について述べる。
論文 参考訳（メタデータ） (2023-09-26T16:01:54Z) - An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
我々は、VICRegの目的に関する情報理論的な視点を示す。
我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。
既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
論文 参考訳（メタデータ） (2023-03-01T16:36:25Z) - Supervised Contrastive Learning as Multi-Objective Optimization for
Fine-Tuning Large Pre-trained Language Models [3.759936323189417]
教師付きコントラスト学習(SCL)は,ほとんどの分類タスクにおいて優れた性能を発揮することが示されている。
本研究では,RoBERTa言語モデルの微調整フェーズにおける多目的最適化問題としてSCL問題を定式化する。
論文 参考訳（メタデータ） (2022-09-28T15:13:58Z) - Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ
LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。
本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
論文 参考訳（メタデータ） (2022-05-24T20:51:37Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳（メタデータ） (2021-01-18T10:12:31Z) - Sparse Methods for Automatic Relevance Determination [0.0]
まず、自動妥当性決定(ARD)について検討し、スパースモデルを実現するために、追加の正規化やしきい値設定の必要性を解析的に実証する。
次に、正規化ベースとしきい値ベースという2つの手法のクラスについて論じる。
論文 参考訳（メタデータ） (2020-05-18T14:08:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。