論文の概要: KerJEPA: Kernel Discrepancies for Euclidean Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2512.19605v1
• Date: Mon, 22 Dec 2025 17:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.859604
• Title: KerJEPA: Kernel Discrepancies for Euclidean Self-Supervised Learning
• Title（参考訳）: KerJEPA: ユークリッドの自己監督学習におけるカーネルの差異
• Authors: Eric Zimmermann, Harley Wiltzer, Justin Szeto, David Alvarez-Melis, Lester Mackey,
• Abstract要約: 我々はカーネルベースの正規化器を用いた自己教師付き学習アルゴリズムであるKerJEPAの新たなフレキシブルなファミリーを導入する。 我々は、トレーニングの安定性や設計の柔軟性の向上など、多くの好ましい特性を持つ代替のKerJEPAを開発した。
• 参考スコア（独自算出の注目度）: 21.345650196596157
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent breakthroughs in self-supervised Joint-Embedding Predictive Architectures (JEPAs) have established that regularizing Euclidean representations toward isotropic Gaussian priors yields provable gains in training stability and downstream generalization. We introduce a new, flexible family of KerJEPAs, self-supervised learning algorithms with kernel-based regularizers. One instance of this family corresponds to the recently-introduced LeJEPA Epps-Pulley regularizer which approximates a sliced maximum mean discrepancy (MMD) with a Gaussian prior and Gaussian kernel. By expanding the class of viable kernels and priors and computing the closed-form high-dimensional limit of sliced MMDs, we develop alternative KerJEPAs with a number of favorable properties including improved training stability and design flexibility.
• Abstract（参考訳）: 近年のJEPA(Self-supervised Joint-Embedding Predictive Architectures)のブレークスルーは、ユークリッド表現を等方的ガウシアン述語への規則化が、訓練安定性と下流一般化において証明可能な利益をもたらすことを証明している。 我々はカーネルベースの正規化器を用いた自己教師付き学習アルゴリズムであるKerJEPAの新たなフレキシブルなファミリーを導入する。 このファミリーの1つの例は、最近導入されたLeJEPA Epps-Pulley正規化器に対応しており、これはガウス前核とガウス核とのスライスされた最大平均誤差(MMD)を近似している。 実運用可能なカーネルのクラスを拡大し、スライスされたMDDの閉形式高次元限界を計算することにより、トレーニング安定性や設計の柔軟性の向上など、多くの好ましい特性を持つ代替のKerJEPAを開発する。

関連論文リスト

• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• On Kernel-based Variational Autoencoder [7.262815775303641]
  可変オートエンコーダ(VAE)とカーネル密度推定(KDE)を橋渡しする 我々は、エビデンスローバウンド(ELBO)におけるクルバック・リーブラ(KL)偏差の上界を導出する。 我々は、KL-除算の導出上限を最小化するために、エパネチニコフ核が最適選択であることを示す。
  論文  参考訳（メタデータ） (2024-05-21T13:29:24Z)
• Stochastic Methods in Variational Inequalities: Ergodicity, Bias and Refinements [19.524063429548278]
  Extragradient (SEG) と Gradient Descent Ascent (SGDA) は min-max 最適化と変分不等式問題に対する優越アルゴリズムである。 これらのアルゴリズムに固有の本質的な構造を定量化し定量化するための我々の取り組み。 定数のステップサイズSEG/SGDAを時間同質マルコフ連鎖として再キャストすることにより、大数の第一種法則と中心極限定理を確立する。
  論文  参考訳（メタデータ） (2023-06-28T18:50:07Z)
• Stochastic First-Order Learning for Large-Scale Flexibly Tied Gaussian Mixture Model [3.4546761246181696]
  ガウス混合モデル(GMM)の多様体上での新しい最適化アルゴリズムを提案する。 我々は,予測最大化アルゴリズムを,より高い確率で達成し,収束のエポックを少なくし,各エポックあたりの時間を少なくすることができることを観察した。
  論文  参考訳（メタデータ） (2022-12-11T04:24:52Z)
• Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient Methods [73.35353358543507]
  SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。 本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。 本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
  論文  参考訳（メタデータ） (2022-02-15T09:17:39Z)
• The Schr\"odinger Bridge between Gaussian Measures has a Closed Form [101.79851806388699]
  我々は OT の動的定式化(Schr"odinger bridge (SB) 問題)に焦点を当てる。 本稿では,ガウス測度間のSBに対する閉形式表現について述べる。
  論文  参考訳（メタデータ） (2022-02-11T15:59:01Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。