論文の概要: Kernel-SSL: Kernel KL Divergence for Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2305.17326v2
- Date: Tue, 30 May 2023 15:00:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 11:34:58.417553
- Title: Kernel-SSL: Kernel KL Divergence for Self-Supervised Learning
- Title(参考訳): kernel-ssl: 自己教師付き学習のためのカーネルklダイバージェンス
- Authors: Yifan Zhang, Zhiquan Tan, Jingqin Yang, Yang Yuan
- Abstract要約: 我々は、既存の多くの非競合学習手法を再現カーネルヒルベルト空間(RKHS)で理解する。
平均埋め込みを直接最適化する新しい損失関数 Kernel-SSL を提案する。
実験では、Kernel-SSLはImageNetデータセットにおいて、最先端の手法よりも大きなマージンで性能を向上する。
- 参考スコア(独自算出の注目度): 13.410552577861587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning usually compares one positive anchor sample with lots of
negative samples to perform Self-Supervised Learning (SSL). Alternatively,
non-contrastive learning, as exemplified by methods like BYOL, SimSiam, and
Barlow Twins, accomplishes SSL without the explicit use of negative samples.
Inspired by the existing analysis for contrastive learning, we provide a
reproducing kernel Hilbert space (RKHS) understanding of many existing
non-contrastive learning methods. Subsequently, we propose a novel loss
function, Kernel-SSL, which directly optimizes the mean embedding and the
covariance operator within the RKHS. In experiments, our method Kernel-SSL
outperforms state-of-the-art methods by a large margin on ImageNet datasets
under the linear evaluation settings. Specifically, when performing 100 epochs
pre-training, our method outperforms SimCLR by 4.6%.
- Abstract(参考訳): 対照的な学習は通常、1つの正のアンカーサンプルと多くの負のサンプルを比較して自己監督学習(SSL)を実行する。
あるいは、BYOL、SimSiam、Barlow Twinsといった手法で実証された非コントラスト学習は、負のサンプルを明示的に使用せずにSSLを達成する。
コントラスト学習のための既存の解析に触発されて、既存の多くの非矛盾学習法を再現するカーネルヒルベルト空間(rkhs)を提供する。
次に、RKHS内の平均埋め込みと共分散演算子を直接最適化する新しい損失関数Kernel-SSLを提案する。
実験では,Kernel-SSL法は,線形評価条件下でのImageNetデータセットにおいて,最先端の手法よりも高い性能を示した。
具体的には,100エポックの事前学習を行う場合,SimCLRが4.6%向上する。
関連論文リスト
- Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳(メタデータ) (2024-02-26T05:51:47Z) - Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement
Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。
低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。
簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文 参考訳(メタデータ) (2023-10-10T17:06:41Z) - Information Flow in Self-Supervised Learning [13.653256266244732]
本稿では,行列情報理論のレンズを用いて,自己教師付き学習法(SSL)の理解と拡張を行う包括的ツールボックスを提案する。
本稿では,行列情報理論に基づくM-MAE法を提案する。
論文 参考訳(メタデータ) (2023-09-29T14:32:43Z) - Understanding Multimodal Contrastive Learning and Incorporating Unpaired
Data [19.72282903349282]
マルチモーダル・コントラッシブ・ラーニング(MMCL)における非線形損失関数の一般クラスを示す。
MMCLの特徴学習能力は,各モダリティに適用される一助的コントラスト学習能力よりも優れていることを示す。
追加の未ペアデータにアクセスできる場合、追加の未ペアデータを含む新たなMMCL損失を提案する。
論文 参考訳(メタデータ) (2023-02-13T10:11:05Z) - Quadratic Matrix Factorization with Applications to Manifold Learning [1.6795461001108094]
本稿では,データセットの配置する曲線多様体を学習するための2次行列分解(QMF)フレームワークを提案する。
アルゴリズムでは,QMFを最適化し,その理論的収束特性を確立するための交代最小化アルゴリズムを提案する。
合成多様体学習データセットとMNIST手書きデータセットと低温電子顕微鏡データセットを含む2つの実データセットの実験は、提案手法が競合相手よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-01-30T15:09:00Z) - Graph Polynomial Convolution Models for Node Classification of
Non-Homophilous Graphs [52.52570805621925]
本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。
得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。
提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
論文 参考訳(メタデータ) (2022-09-12T04:46:55Z) - Monarch: Expressive Structured Matrices for Efficient and Accurate
Training [64.6871423399431]
大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。
計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。
ハードウェア効率のよい行列(Monarch)のクラスを提案する。
論文 参考訳(メタデータ) (2022-04-01T17:37:29Z) - Exact Decomposition of Joint Low Rankness and Local Smoothness Plus
Sparse Matrices [39.47324019377441]
3次元相関総変分正規化(略して3DCTV-RPCA)に基づく新しいRPCAモデルを提案する。
いくつかの軽微な仮定の下で、提案した3DCTV-RPCAモデルが両方のコンポーネントを正確に分解できることを示す。
論文 参考訳(メタデータ) (2022-01-29T13:58:03Z) - Meta-learning for Matrix Factorization without Shared Rows or Columns [39.56814839510978]
提案手法は,行列を入力とするニューラルネットワークを用いて,行列の分解行列の事前分布を生成する。
ニューラルネットワークは、期待される計算誤差を最小限に抑えるようにメタ学習される。
3つのユーザ・イテム評価データセットを用いた実験により,提案手法は未知の行列における限られた数の観測結果から,欠落した値をインプットできることを示した。
論文 参考訳(メタデータ) (2021-06-29T07:40:20Z) - SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural
Networks [81.64530401885476]
本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。
具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。
我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
論文 参考訳(メタデータ) (2020-10-19T09:23:39Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳(メタデータ) (2020-10-01T17:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。