論文の概要: Kernel-SSL: Kernel KL Divergence for Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2305.17326v1
• Date: Sat, 27 May 2023 02:04:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 20:23:38.891711
• Title: Kernel-SSL: Kernel KL Divergence for Self-supervised Learning
• Title（参考訳）: Kernel-SSL: 自己教師型学習のためのカーネルKL多様性
• Authors: Yifan Zhang, Zhiquan Tan, Jingqin Yang, Yang Yuan
• Abstract要約: 我々は、既存の多くの非競合学習手法を再現カーネルヒルベルト空間(RKHS)で理解する。 平均埋め込みを直接最適化する新しい損失関数 Kernel-SSL を提案する。 実験では、Kernel-SSLはImageNetデータセットにおいて、最先端の手法よりも大きなマージンで性能を向上する。
• 参考スコア（独自算出の注目度）: 13.410552577861587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning usually compares one positive anchor sample with lots of negative samples to perform Self-Supervised Learning (SSL). Alternatively, non-contrastive learning, as exemplified by methods like BYOL, SimSiam, and Barlow Twins, accomplishes SSL without the explicit use of negative samples. Inspired by the existing analysis for contrastive learning, we provide a reproducing kernel Hilbert space (RKHS) understanding of many existing non-contrastive learning methods. Subsequently, we propose a novel loss function, Kernel-SSL, which directly optimizes the mean embedding and the covariance operator within the RKHS. In experiments, our method Kernel-SSL outperforms state-of-the-art methods by a large margin on ImageNet datasets under the linear evaluation settings. Specifically, when performing 100 epochs pre-training, our method outperforms SimCLR by 4.6%.
• Abstract（参考訳）: 対照的な学習は通常、1つの正のアンカーサンプルと多くの負のサンプルを比較して自己監督学習(SSL)を実行する。 あるいは、BYOL、SimSiam、Barlow Twinsといった手法で実証された非コントラスト学習は、負のサンプルを明示的に使用せずにSSLを達成する。 コントラスト学習のための既存の解析に触発されて、既存の多くの非矛盾学習法を再現するカーネルヒルベルト空間(rkhs)を提供する。 次に、RKHS内の平均埋め込みと共分散演算子を直接最適化する新しい損失関数Kernel-SSLを提案する。 実験では,Kernel-SSL法は,線形評価条件下でのImageNetデータセットにおいて,最先端の手法よりも高い性能を示した。 具体的には,100エポックの事前学習を行う場合,SimCLRが4.6%向上する。

関連論文リスト

• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
  低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。 低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。 簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
  論文  参考訳（メタデータ） (2023-10-10T17:06:41Z)
• Information Flow in Self-Supervised Learning [12.726203807634548]
  本稿では,行列ベースのエントロピー推定を正規化器として活用し,U-MAEを特別に仮定する新しい手法であるマトリックス変量マスク付きオートエンコーダ(M-MAE)を紹介する。 実験による評価は、線形探傷型ViT-Baseの3.9%の改善、微調整型ViT-Largeの1%の改善など、最先端の手法と比較して、M-MAEの有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2023-09-29T14:32:43Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Exact Decomposition of Joint Low Rankness and Local Smoothness Plus Sparse Matrices [39.47324019377441]
  3次元相関総変分正規化(略して3DCTV-RPCA)に基づく新しいRPCAモデルを提案する。 いくつかの軽微な仮定の下で、提案した3DCTV-RPCAモデルが両方のコンポーネントを正確に分解できることを示す。
  論文  参考訳（メタデータ） (2022-01-29T13:58:03Z)
• Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
  本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。 ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T08:35:54Z)
• Meta-learning for Matrix Factorization without Shared Rows or Columns [39.56814839510978]
  提案手法は,行列を入力とするニューラルネットワークを用いて,行列の分解行列の事前分布を生成する。 ニューラルネットワークは、期待される計算誤差を最小限に抑えるようにメタ学習される。 3つのユーザ・イテム評価データセットを用いた実験により,提案手法は未知の行列における限られた数の観測結果から,欠落した値をインプットできることを示した。
  論文  参考訳（メタデータ） (2021-06-29T07:40:20Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。