論文の概要: SPHERE-JEPA: Spherical Prediction with Homogeneous Embeddings

• arxiv url: http://arxiv.org/abs/2605.26900v1
• Date: Tue, 26 May 2026 12:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.990959
• Title: SPHERE-JEPA: Spherical Prediction with Homogeneous Embeddings
• Title（参考訳）: SPHERE-JEPA:均一な埋め込みによる球面予測
• Authors: Léo Nicollier, Max Dunitz, Marc Pic, Pablo Musé, Enric Meinhardt-Llopis, Gabriele Facciolo,
• Abstract要約: 近年、LeJEPAはユークリッド空間における下流予測リスクを最小化するために、等方的ガウス埋め込みを最適とみなしている。 最悪の場合の定式化では、k-アネレスト近傍とカーネルリッジ回帰の両方が超球面均一性を引き起こす。 理論的に基盤となるSSLフレームワークであるSPHERE-JEPAを紹介する。
• 参考スコア（独自算出の注目度）: 11.087393998848254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental open question in self-supervised learning (SSL) is the explicit characterization of the optimal geometry of the learned representations. Recently, LeJEPA identified isotropic Gaussian embeddings as optimal for minimizing downstream prediction risk in Euclidean spaces. However, the corresponding problem for distributions supported on lower-dimensional manifolds, such as the hypersphere, remains unexplored. In this work, we demonstrate that extending this minimax analysis to smooth distributions on Riemannian manifolds fundamentally changes the optimal solution. We show that, under a worst-case formulation, both k-nearest neighbors and kernel ridge regression induce hyperspherical uniformity. More precisely, we show that uniform distributions on manifolds are optimal for k-nearest neighbors, and that the uniform distribution on the sphere is optimal for kernel ridge regression with both the exponential dot-product kernel and the linear kernel. This theoretical insight reveals a fundamental limitation of Gaussian embeddings: their non-uniform density induces anisotropic k-NN neighborhoods, severely biasing the estimator. To correct this, we introduce SPHERE-JEPA, a theoretically grounded SSL framework. We adapt LeJEPA's Cram{é}r-Wold projection mechanism to enforce hyperspherical uniformity rather than a Gaussian prior. Empirically, SPHERE-JEPA yields significant improvements, boosting texture retrieval mAP by over 6%, while consistently matching or outperforming LeJEPA on standard benchmarks-including a +1.8% linear probing gain on ImageNet-1K (ViT-B/14).
• Abstract（参考訳）: 自己教師付き学習(SSL)における根本的なオープンな疑問は、学習された表現の最適幾何学の明示的な特徴である。 近年、LeJEPAはユークリッド空間における下流予測リスクを最小化するために、等方的ガウス埋め込みを最適とみなしている。 しかし、超球面のような低次元多様体で支えられる分布に対する対応する問題は、まだ解明されていない。 本研究では、このミニマックス解析をリーマン多様体上の滑らかな分布に拡張することで、最適解が根本的に変化することを示した。 最悪の場合の定式化では、k-アネレスト近傍とカーネルリッジ回帰の両方が超球面均一性を引き起こす。 より正確には、多様体上の一様分布はk-アネレスト近傍に最適であり、球面上の一様分布は指数ドット積カーネルと線形カーネルの両方でカーネルリッジ回帰に最適であることを示す。 この理論的な洞察はガウスの埋め込みの基本的な制限を明らかにし、その非一様密度は異方性k-NN近傍を誘導し、推定器をひどく偏り付ける。 これを修正するために,理論的に基盤となるSSLフレームワークであるSPHERE-JEPAを紹介する。 我々はLeJEPAのCram{é}r-Wold射影機構を適用し、ガウス先行よりも超球面均一性を強制する。 SPHERE-JEPAは、画像Net-1K(ViT-B/14)での1.8%の線形プローブゲインを含む標準ベンチマークでのLeJEPAの整合性や性能を保ちながら、テクスチャ検索のmAPを6%以上向上させるなど、大幅な改善をもたらす。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
  最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。 これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。 この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
  論文  参考訳（メタデータ） (2025-12-03T09:01:48Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Utilising the CLT Structure in Stochastic Gradient based Sampling : Improved Analysis and Faster Algorithms [14.174806471635403]
  粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。 近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。 この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
  論文  参考訳（メタデータ） (2022-06-08T10:17:40Z)
• Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation [5.98367009147573]
  2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。 その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
  論文  参考訳（メタデータ） (2021-11-13T05:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。