論文の概要: Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space

• arxiv url: http://arxiv.org/abs/2509.07289v1
• Date: Mon, 08 Sep 2025 23:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.149744
• Title: Kernel VICReg for Self-Supervised Learning in Reproducing Kernel Hilbert Space
• Title（参考訳）: カーネルヒルベルト空間再生における自己教師付き学習のためのカーネルVICReg
• Authors: M. Hadi Sepanj, Benyamin Ghojogh, Paul Fieguth,
• Abstract要約: Kernel VICRegは、VICRegの目的を再現するKernel Hilbert Spaceに持ち上げる自己教師型学習フレームワークである。 我々は,Kernel VICRegが表現の崩壊を避けるだけでなく,複雑なデータや小規模なデータを扱うタスクの性能を向上させることを実証した。
• 参考スコア（独自算出の注目度）: 0.15293427903448018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has emerged as a powerful paradigm for representation learning by optimizing geometric objectives--such as invariance to augmentations, variance preservation, and feature decorrelation--without requiring labels. However, most existing methods operate in Euclidean space, limiting their ability to capture nonlinear dependencies and geometric structures. In this work, we propose Kernel VICReg, a novel self-supervised learning framework that lifts the VICReg objective into a Reproducing Kernel Hilbert Space (RKHS). By kernelizing each term of the loss-variance, invariance, and covariance--we obtain a general formulation that operates on double-centered kernel matrices and Hilbert-Schmidt norms, enabling nonlinear feature learning without explicit mappings. We demonstrate that Kernel VICReg not only avoids representational collapse but also improves performance on tasks with complex or small-scale data. Empirical evaluations across MNIST, CIFAR-10, STL-10, TinyImageNet, and ImageNet100 show consistent gains over Euclidean VICReg, with particularly strong improvements on datasets where nonlinear structures are prominent. UMAP visualizations further confirm that kernel-based embeddings exhibit better isometry and class separation. Our results suggest that kernelizing SSL objectives is a promising direction for bridging classical kernel methods with modern representation learning.
• Abstract（参考訳）: 自己教師付き学習 (SSL) は、幾何学的目的を最適化することで表現学習の強力なパラダイムとして現れてきた。 しかしながら、既存のほとんどのメソッドはユークリッド空間で動作し、非線型依存や幾何学的構造を捉える能力を制限する。 本研究では,VICRegの目標を再生するKernel Hilbert Space (RKHS)に引き上げる,新しい自己教師型学習フレームワークであるKernel VICRegを提案する。 損失分散、不変、共分散の各項をカーネル化することにより、二重中心のカーネル行列とヒルベルト・シュミットノルムで動く一般的な定式化を得る。 我々は,Kernel VICRegが表現の崩壊を避けるだけでなく,複雑なデータや小規模なデータを扱うタスクの性能を向上させることを実証した。 MNIST、CIFAR-10、STL-10、TinyImageNet、ImageNet100での実証的な評価は、ユークリッドVICRegよりも一貫した増加を示し、特に非線形構造が顕著なデータセットに対する強い改善を示している。 UMAPビジュアライゼーションは、カーネルベースの埋め込みがより良いアイソメトリとクラス分離を示すことをさらに確認する。 この結果から,SSL目標のカーネル化は,従来のカーネルメソッドを現代的な表現学習でブリッジする上で有望な方向であることが示唆された。

関連論文リスト

• Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel [55.82768375605861]
  我々は、カーネル法における古典的ラデマッハ複雑性と整合する勾配流の一般化を確立する。 NTKのような静的カーネルとは異なり、LPKはトレーニング軌跡全体をキャプチャし、データと最適化の両方に適応する。
  論文  参考訳（メタデータ） (2025-06-12T23:17:09Z)
• Towards Robust Nonlinear Subspace Clustering: A Kernel Learning Approach [6.4314326272535896]
  カーネルベースのサブスペースクラスタリングはデータの非線形構造に対処する。 本稿では、カーネル誘起非線形サブスペースクラスタリングのための新しいパラダイムであるDKLMを提案する。
  論文  参考訳（メタデータ） (2025-01-10T22:41:02Z)
• Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning [33.34053480377887]
  本稿では,局所適応バンド幅(LAB)RBFカーネルを用いたカーネルリッジレスレグレッションを強化する。 初めて、LAB RBFカーネルから学習した関数は、Reproducible Kernel Hilbert Spaces (RKHSs) の積分空間に属することを示した。
  論文  参考訳（メタデータ） (2024-06-03T15:28:12Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Provably Efficient Kernelized Q-Learning [26.37242007290973]
  本稿では,Q-ラーニングのカーネル化バージョンを提案し,分析する。 任意のカーネルに対する後悔の限界を導出する。 アルゴリズムを古典的な制御タスクのスイートでテストする。
  論文  参考訳（メタデータ） (2022-04-21T18:08:22Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Estimating Koopman operators for nonlinear dynamical systems: a nonparametric approach [77.77696851397539]
  Koopman演算子は非線形系の線形記述を可能にする数学的ツールである。 本稿では,その核となる部分を同一フレームワークのデュアルバージョンとして捉え,それらをカーネルフレームワークに組み込む。 カーネルメソッドとKoopman演算子との強力なリンクを確立し、Kernel関数を通じて後者を推定する。
  論文  参考訳（メタデータ） (2021-03-25T11:08:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。