Fugu-MT 論文翻訳(概要): Contrastive Learning Is Spectral Clustering On Similarity Graph

論文の概要: Contrastive Learning Is Spectral Clustering On Similarity Graph

arxiv url: http://arxiv.org/abs/2303.15103v3
Date: Fri, 16 Feb 2024 08:08:17 GMT
ステータス: 処理完了
システム内更新日: 2024-02-19 21:05:43.247380
Title: Contrastive Learning Is Spectral Clustering On Similarity Graph
Title（参考訳）: コントラスト学習は類似グラフ上のスペクトルクラスタリング
Authors: Yifan Zhang, Zhiquan Tan, Jingqin Yang, Yang Yuan
Abstract要約: 標準InfoNCE損失と対照的な学習は、類似性グラフ上のスペクトルクラスタリングと等価であることを示す。理論的な洞察に感銘を受け,カーネル・インフォネッションNCEの損失を導入した。
参考スコア（独自算出の注目度）: 12.47963220169677
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contrastive learning is a powerful self-supervised learning method, but we have a limited theoretical understanding of how it works and why it works. In this paper, we prove that contrastive learning with the standard InfoNCE loss is equivalent to spectral clustering on the similarity graph. Using this equivalence as the building block, we extend our analysis to the CLIP model and rigorously characterize how similar multi-modal objects are embedded together. Motivated by our theoretical insights, we introduce the Kernel-InfoNCE loss, incorporating mixtures of kernel functions that outperform the standard Gaussian kernel on several vision datasets. The code is available at https://github.com/yifanzhang-pro/Kernel-InfoNCE.
Abstract（参考訳）: コントラスト学習は強力な自己教師付き学習手法であるが,その動作方法や動作理由に関する理論的な理解は限られている。本稿では,標準InfoNCE損失を用いたコントラスト学習が類似グラフ上のスペクトルクラスタリングと等価であることを示す。この等価性をビルディングブロックとして利用し、分析をCLIPモデルに拡張し、類似したマルチモーダルオブジェクトが組み合わさっていることを厳密に特徴付ける。いくつかの視覚データセット上で標準のガウスカーネルよりも優れたカーネル関数の混合を組み込んだカーネルインフォネッセロス(Kernel-InfoNCE)を導入する。コードはhttps://github.com/yifanzhang-pro/kernel-infonceで入手できる。

関連論文リスト

A Graph-Theoretic Framework for Understanding Open-World Semi-Supervised Learning [33.05104609131764]
オープンワールド半教師あり学習は、未知のデータに既知のクラスと新しいクラスの両方を推定することを目的としている。本稿では,オープンワールド設定に適したグラフ理論フレームワークを定式化する。我々のグラフ理論フレームワークは実用的なアルゴリズムを照らし、保証を提供する。
論文参考訳（メタデータ） (2023-11-06T21:15:09Z)
Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文参考訳（メタデータ） (2023-09-14T00:40:07Z)
CARL-G: Clustering-Accelerated Representation Learning on Graphs [18.763104937800215]
本稿では,クラスタ検証指標(CVI)にインスパイアされた損失を利用したグラフ表現学習のための新しいクラスタリングベースのフレームワークを提案する。 CARL-Gはクラスタリング法やCVIに適応し,クラスタリング法とCVIの適切な選択により,CARL-Gは4/5データセットのノード分類ベースラインを最大79倍のトレーニングスピードアップで上回ることを示す。
論文参考訳（メタデータ） (2023-06-12T08:14:42Z)
Fisher Information Embedding for Node and Graph Learning [5.263910852465186]
本稿では,グラフのための新しい注目型ノード埋め込みフレームワークを提案する。我々のフレームワークはノード周辺のサブグラフの多重集合のための階層的カーネル上に構築されている。埋め込みの一般化性と表現性に関する理論的知見を提供する。
論文参考訳（メタデータ） (2023-05-12T16:15:30Z)
GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
論文参考訳（メタデータ） (2022-12-07T10:19:39Z)
Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文参考訳（メタデータ） (2022-09-29T15:53:19Z)
Hypergraph Modeling via Spectral Embedding Connection: Hypergraph Cut, Weighted Kernel $k$-means, and Heat Kernel [1.8528929583956726]
スペクトル埋め込みによるクラスタリングのためのハイパーグラフに実数値データをモデル化するためのマルチウェイ類似性の理論的枠組みを提案する。提案アルゴリズムは,既存のグラフや他のモデリング手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-03-18T11:51:59Z)
Contrastive learning of strong-mixing continuous-time stochastic processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文参考訳（メタデータ） (2021-03-03T23:06:47Z)
Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文参考訳（メタデータ） (2020-09-27T14:16:14Z)
Graph Neural Networks with Composite Kernels [60.81504431653264]
カーネル重み付けの観点からノード集約を再解釈する。本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
論文参考訳（メタデータ） (2020-05-16T04:44:29Z)
Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。 EGAEは1つのエンコーダと2つのデコーダで構成される。
論文参考訳（メタデータ） (2020-02-20T09:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。