論文の概要: Joint Embedding Self-Supervised Learning in the Kernel Regime

• arxiv url: http://arxiv.org/abs/2209.14884v1
• Date: Thu, 29 Sep 2022 15:53:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 15:52:08.029773
• Title: Joint Embedding Self-Supervised Learning in the Kernel Regime
• Title（参考訳）: カーネルレジームにおける自己監督学習の併用
• Authors: Bobak T. Kiani, Randall Balestriero, Yubei Chen, Seth Lloyd, Yann LeCun
• Abstract要約: 自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
• 参考スコア（独自算出の注目度）: 21.80241600638596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fundamental goal of self-supervised learning (SSL) is to produce useful representations of data without access to any labels for classifying the data. Modern methods in SSL, which form representations based on known or constructed relationships between samples, have been particularly effective at this task. Here, we aim to extend this framework to incorporate algorithms based on kernel methods where embeddings are constructed by linear maps acting on the feature space of a kernel. In this kernel regime, we derive methods to find the optimal form of the output representations for contrastive and non-contrastive loss functions. This procedure produces a new representation space with an inner product denoted as the induced kernel which generally correlates points which are related by an augmentation in kernel space and de-correlates points otherwise. We analyze our kernel model on small datasets to identify common features of self-supervised learning algorithms and gain theoretical insights into their performance on downstream tasks.
• Abstract（参考訳）: 自己教師付き学習(SSL)の基本的な目標は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を作ることである。 サンプル間の既知のあるいは構築された関係に基づいて表現を形成するSSLの現代的な手法は、このタスクで特に有効である。 本稿では,このフレームワークを拡張して,カーネルの特徴空間に作用する線形写像によって埋め込みが構築されるカーネルメソッドに基づくアルゴリズムを組み込むことを目標とする。 このカーネル・レジームでは、コントラスト的および非矛盾的損失関数の出力表現の最適な形式を求める方法を導出する。 この手順は、核空間の増補によって関連づけられた点と、それ以外の点を非相関化する誘導核として表される内積を持つ新しい表現空間を生成する。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics [0.4588028371034406]
  本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。 アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。 アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
  論文  参考訳（メタデータ） (2022-06-03T07:50:54Z)
• Nonparametric learning of kernels in nonlocal operators [6.314604944530131]
  非局所作用素におけるカーネル学習のための厳密な識別可能性解析および収束研究を提供する。 本稿では,新しいデータ適応型RKHS Tikhonov正規化手法を用いた非パラメトリック回帰アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T02:47:55Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Multiple Kernel Representation Learning on Networks [12.106994960669924]
  ネットワークのノードに関するランダムな歩行に基づく情報を符号化する重み付き行列分解モデルを提案する。 我々は、カーネルの辞書の線形結合としてカーネルを学習する柔軟性を提供する複数のカーネル学習定式化により、アプローチを拡張した。
  論文  参考訳（メタデータ） (2021-06-09T13:22:26Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Kernel k-Means, By All Means: Algorithms and Strong Consistency [21.013169939337583]
  Kernel $k$クラスタリングは、非線形データの教師なし学習のための強力なツールである。 本稿では,最適化された局所解に対処するための一般的な手法を応用した結果を一般化する。 我々のアルゴリズムは、この非線形分離問題をよりよく解くために、Magricalization-minimization (MM) を利用している。
  論文  参考訳（メタデータ） (2020-11-12T16:07:18Z)
• Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
  我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。 我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
  論文  参考訳（メタデータ） (2020-09-27T14:16:14Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。