論文の概要: When can we Approximate Wide Contrastive Models with Neural Tangent
Kernels and Principal Component Analysis?
- arxiv url: http://arxiv.org/abs/2403.08673v1
- Date: Wed, 13 Mar 2024 16:25:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 13:38:29.213304
- Title: When can we Approximate Wide Contrastive Models with Neural Tangent
Kernels and Principal Component Analysis?
- Title（参考訳）: ニューラルタンジェントを用いた広域コントラストモデルの近似はいつ可能か
カーネルと主成分分析
- Authors: Gautham Govind Anil, Pascal Esser, Debarghya Ghoshdastidar
- Abstract要約: 訓練されたコントラストモデルが実際にカーネルメソッドやPCAに対応するかどうかは不明である。
ニューラルネットワークがニューラル・タンジェント・カーネル(NTK)マシンと等価であることは、教師付き設定でよく知られている。
NTKのコンバージェンス結果のコンバージェンスを比較検討し,ニュアンス画像を提示する。
- 参考スコア（独自算出の注目度）: 6.944372188747803
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive learning is a paradigm for learning representations from
unlabelled data that has been highly successful for image and text data.
Several recent works have examined contrastive losses to claim that contrastive
models effectively learn spectral embeddings, while few works show relations
between (wide) contrastive models and kernel principal component analysis
(PCA). However, it is not known if trained contrastive models indeed correspond
to kernel methods or PCA. In this work, we analyze the training dynamics of
two-layer contrastive models, with non-linear activation, and answer when these
models are close to PCA or kernel methods. It is well known in the supervised
setting that neural networks are equivalent to neural tangent kernel (NTK)
machines, and that the NTK of infinitely wide networks remains constant during
training. We provide the first convergence results of NTK for contrastive
losses, and present a nuanced picture: NTK of wide networks remains almost
constant for cosine similarity based contrastive losses, but not for losses
based on dot product similarity. We further study the training dynamics of
contrastive models with orthogonality constraints on output layer, which is
implicitly assumed in works relating contrastive learning to spectral
embedding. Our deviation bounds suggest that representations learned by
contrastive models are close to the principal components of a certain matrix
computed from random features. We empirically show that our theoretical results
possibly hold beyond two-layer networks.
- Abstract（参考訳）: コントラスト学習(Contrastive Learning)は、画像データやテキストデータに対して高い成功を収めた非競合データから表現を学習するためのパラダイムである。
コントラストモデルがスペクトル埋め込みを効果的に学習するのに対し、(全体)コントラストモデルとカーネル主成分分析(PCA)の関係を示す研究はほとんどない。
しかし、訓練されたコントラストモデルが実際にカーネルメソッドやPCAに対応するかどうかは不明である。
そこで本研究では,2層コントラストモデルのトレーニングダイナミクスを非線形アクティベーションを用いて解析し,PCA法やカーネル法に近い場合の解答について述べる。
ニューラルネットワークはニューラル・タンジェント・カーネル(NTK)と等価であり、トレーニング中に無限に広いネットワークのNTKが一定であることはよく知られている。
広帯域ネットワークのNTKは、コサイン類似性に基づくコントラスト類似性に基づいてほぼ一定であるが、ドット積類似性に基づく損失にはならない。
さらに、コントラスト学習とスペクトル埋め込みに関する研究において暗黙的に仮定される出力層上の直交制約を持つコントラストモデルのトレーニングダイナミクスについて検討する。
我々の偏差境界は、対照的なモデルによって学習された表現が、ランダムな特徴から計算されたある行列の主成分に近いことを示唆している。
理論的結果が2層ネットワークを超える可能性があることを実証的に示す。
関連論文リスト
- MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。
トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。
本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文 参考訳（メタデータ） (2024-10-02T16:05:03Z) - Canonical Correlation Guided Deep Neural Network [14.188285111418516]
深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。
提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。
相関による冗長性を低減するために、冗長性フィルタを設計する。
論文 参考訳（メタデータ） (2024-09-28T16:08:44Z) - Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。
フェデレートラーニングにおいて最も顕著に用いられている。
私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文 参考訳（メタデータ） (2023-07-13T09:39:10Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Revisiting Sparse Convolutional Model for Visual Recognition [40.726494290922204]
本稿では,画像分類のためのスパース畳み込みモデルについて再検討する。
CIFAR-10, CIFAR-100, ImageNetデータセット上でも同様に強力な実験性能を示した。
論文 参考訳（メタデータ） (2022-10-24T04:29:21Z) - Learning Robust Kernel Ensembles with Kernel Average Pooling [3.6540368812166872]
本稿では,階層活性化テンソルのカーネル次元に沿って平均フィルタを適用するニューラルネットワーク構築ブロックであるKernel Average Pooling(KAP)を紹介する。
類似機能を持つカーネルのアンサンブルは、KAPを装備した畳み込みニューラルネットワークにおいて自然に出現し、バックプロパゲーションで訓練されることを示す。
論文 参考訳（メタデータ） (2022-09-30T19:49:14Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-23T12:52:49Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳（メタデータ） (2021-02-12T16:31:24Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳（メタデータ） (2020-12-17T15:19:29Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。