論文の概要: Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere
- arxiv url: http://arxiv.org/abs/2606.17603v1
- Date: Tue, 16 Jun 2026 07:10:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.323313
- Title: Expanding SPHERE-JEPA: A Family of Statistical Regularizers for the Hypersphere
- Title（参考訳）: SPHERE-JEPAの拡張:超球の統計正則化器の一家系
- Authors: Léo Nicollier, Enric Meinhardt-Llopis, Max Dunitz, Marc Pic, Pablo Musé, Gabriele Facciolo,
- Abstract要約: SSL(Self-Supervised Learning)では,単位超球面上の一様分布を明示的に強制することにより,表現の崩壊を防止することが実証された。
現在のフレームワークは通常、SIGReg(LeJEPAで使用される)やSUSReg(SPHEREJEPAで使用される)のようなスライスされた統計正規化器に依存している。
これにより、トレーニング勾配にプロジェクションのばらつきを注入し、最適化を安定化させ、収束を妨げる。
本研究では,これらのランダムな射影を解析的に統合することにより,決定論的最大平均離散性(MMD)が得られ,スライスされた手法のばらつきを回避できることを示す。
- 参考スコア（独自算出の注目度）: 11.087393998848254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Self-Supervised Learning (SSL), preventing representation collapse by explicitly enforcing a uniform distribution on the unit hypersphere has proven to be effective. However, current frameworks typically rely on sliced statistical regularizers such as SIGReg (used in LeJEPA) and SUSReg (used in SPHERE-JEPA), which approximate this continuous objective via Monte Carlo sampling along random 1D directions. This stochasticity injects projection variance into the training gradients, destabilizing optimization, and hindering convergence. In this work, we first show that analytically integrating out these random projections natively yields a deterministic Maximum Mean Discrepancy (MMD), bypassing the variance of sliced methods. Motivated by this equivalence, we formulate full-dimensional objectives for MMD, Kernel Stein Discrepancy (KSD), and Kullback-Leibler (KL) divergence directly on the sphere to enforce a uniform distribution. To prevent spatial bias, we equip these tests with rotationally invariant kernels constructed via spectral theory, systematically evaluating two canonical families: smooth exponential decay (Heat) and strict frequency cutoff (Bandlimited) filters. Empirically, removing projection-induced noise results in more stable optimization, faster convergence, and consistent improvements over stochastic sliced regularizers on ImageNet and Galaxy10. Furthermore, we reveal that the choice of the statistical test shapes the geometry of the learned latent space: MMD and KSD favor locally clustered organization suitable for object-centric domains, whereas the continuous KDE-based KL divergence promotes fine-grained instance separation, yielding the strongest results on unclustered procedural texture retrieval.
- Abstract（参考訳）: SSL(Self-Supervised Learning)では,単位超球面上の一様分布を明示的に強制することにより,表現の崩壊を防止することが実証された。
しかし、現在のフレームワークは通常、SIGReg (LeJEPAで使用される)やSUSReg (SPHERE-JEPAで使用される)のようなスライスされた統計正規化器に依存しており、これはモンテカルロによるランダムな1D方向のサンプリングによって、この連続的な目的を近似している。
この確率性は、トレーニング勾配に射影分散を注入し、最適化を安定化させ、収束を妨げる。
本研究では,これらの乱射影を解析的に統合することにより,決定論的最大平均離散性(MMD)が得られ,スライスされた手法のばらつきを回避できることを示す。
この等価性によって、MDD, Kernel Stein Discrepancy (KSD), Kullback-Leibler (KL) のフル次元目的を球面上で直接発散させ、一様分布を強制する。
空間バイアスを防止するため、スペクトル理論を用いて構築された回転不変核を用いてこれらの試験を行い、滑らかな指数減衰(熱)と厳密な周波数遮断(帯域制限)フィルタの2つの正準族を体系的に評価する。
実験的に、投影誘起ノイズの除去により、より安定した最適化、より高速な収束、ImageNetとGalaxy10上の確率スライス正規化器に対する一貫した改善が実現された。
MMDとKSDは、オブジェクト中心のドメインに適した局所的なクラスタ化された組織を好むが、連続KDEベースのKL分散は、細粒度のインスタンス分離を促進し、非クラスタ化された手続き的テクスチャ検索において最強の結果をもたらす。
関連論文リスト
- From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。
我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
論文 参考訳（メタデータ） (2026-05-26T17:52:28Z) - SPHERE-JEPA: Spherical Prediction with Homogeneous Embeddings [11.087393998848254]
近年、LeJEPAはユークリッド空間における下流予測リスクを最小化するために、等方的ガウス埋め込みを最適とみなしている。
最悪の場合の定式化では、k-アネレスト近傍とカーネルリッジ回帰の両方が超球面均一性を引き起こす。
理論的に基盤となるSSLフレームワークであるSPHERE-JEPAを紹介する。
論文 参考訳（メタデータ） (2026-05-26T12:00:40Z) - Contrastive Distribution Matching for Amortized Sequential Monte Carlo in Discrete Diffusion [33.94204857658877]
本稿では,SMC推論のコストを正および負のサンプルを用いてパラメータ化されたツイスト関数を学習することにより,SMC推論のコストを補正する新しいフレームワークであるContrastive Distribution Matching (CDM)を紹介する。
実際、学習したツイスト関数の評価は、ベースモデルの1つの前方通過と比較して5%未満の計算オーバーヘッドを発生させる。
我々は,有毒なテキスト生成,DNA配列設計,タンパク質設計性,拡散言語モデルアライメントなど,多岐にわたるアプローチの有効性と汎用性を検証した。
論文 参考訳（メタデータ） (2026-05-22T08:06:52Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees [9.180350432640912]
連続時間マルコフ連鎖(CTMC)の定式化によるスコアベース離散拡散モデルのサンプリング効率について検討した。
一様離散拡散に対して、$$-leapingアルゴリズムは位数$tilde O(d/varepsilon)$の複雑さを達成することを示す。
離散拡散をマスキングするために,本質的な情報理論量によって収束率を制御した$$-leapingサンプルラを導入する。
論文 参考訳（メタデータ） (2026-02-16T18:48:17Z) - Fast Sampling for Flows and Diffusions with Lazy and Point Mass Stochastic Interpolants [5.492889521988414]
任意のスケジュール下で任意の拡散係数で微分方程式(SDE)のサンプルパスを変換する方法を証明する。
次に、補間フレームワークを拡張して、より大きな点質量スケジュールのクラスを許容する。
論文 参考訳（メタデータ） (2026-02-03T17:48:34Z) - Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models [3.2091923314854416]
学習スコア(またはデノイザー)によって駆動される逆時間ダイナミクスを離散化することで拡散生成モデルがサンプルを合成する
我々は、幾何学的仮定を避けるために、次元自由収束に対する情報理論的アプローチを開発する。
また、逆SDEの効率的な離散化のための損失適応スケジュール(LAS)を提案し、これは軽量であり、訓練損失のみに依存している。
論文 参考訳（メタデータ） (2026-01-29T16:28:21Z) - Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。
本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
論文 参考訳（メタデータ） (2025-04-04T16:10:18Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。
最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
論文 参考訳（メタデータ） (2022-09-16T22:09:53Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。