論文の概要: Beyond Gaussian Worlds: Latent Geometry Matters for JEPAs

• arxiv url: http://arxiv.org/abs/2609.21656v1
• Date: Fri, 18 Sep 2026 11:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.066158
• Title: Beyond Gaussian Worlds: Latent Geometry Matters for JEPAs
• Title（参考訳）: ガウス世界を超えて:JEPAにとって潜在幾何学は重要だ
• Abstract要約: 最近のJEPA(Joint-Embedding Predictive Architectures)は、学習した表現を所定の目標分布に従わせることで、表現の崩壊を防ぐ。 幾何整合性のあるターゲットは、最適化が成功すると線形回復性が向上するのに対し、ミスマッチしたターゲットは潜在構造を歪ませる。
• 参考スコア（独自算出の注目度）: 11.74837809839014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Joint-Embedding Predictive Architectures (JEPAs) prevent representation collapse by constraining learned representations to follow a prescribed target distribution, such as an isotropic Gaussian or the uniform distribution on a hypersphere. Klindt et al. (2026) showed that, under their Euclidean assumptions, matching a Gaussian target can recover Gaussian latent variables up to a linear transformation, and that the Gaussian is the unique distribution with this guarantee. We extend their analysis to latent variables supported on embedded Riemannian manifolds and derive conditions on the latent geometry and positive-pair dynamics under which alignment and exact distribution matching guarantee linear recovery. In particular, when the latent variables are uniformly distributed on a sphere and the representations are matched to the same spherical distribution, every optimal representation recovers the latent state up to an orthogonal transformation. This shows that Gaussian uniqueness is not a universal property of distribution-matched JEPAs: non-Euclidean latent geometries can admit other linearly recoverable distributions. We further derive an approximate-recovery bound that is strictly tighter for the spherical world than for the Gaussian world. Experiments on Gaussian, spherical, and toroidal latent spaces show that geometrically compatible targets yield better linear recovery when optimization succeeds, whereas mismatched targets distort the latent structure. This advantage persists in high-dimensional Clifford-torus worlds.
• Abstract（参考訳）: 最近のJEPA(Joint-Embedding Predictive Architectures)は、学習された表現を、等方的ガウス分布や超球面上の均一分布のような所定の目標分布に従うように制限することで、表現の崩壊を防ぐ。 Klindt et al (2026) は、ユークリッドの仮定の下で、ガウス的対象のマッチングは、線型変換までガウス的潜在変数を復元することができ、ガウス的は、この保証付き一意な分布であることを示した。 我々はそれらの解析を、埋め込みリーマン多様体上でサポートされた潜在変数に拡張し、線形回復を保証するアライメントと正確な分布マッチングが保証される潜在幾何学および正ペア力学の条件を導出する。 特に、潜伏変数が球面上に均一に分布し、表現が同じ球面分布に一致するとき、全ての最適表現は、潜伏状態が直交変換まで回復する。 これは、ガウス的一意性が分布整合JEPの普遍性ではないことを示している: 非ユークリッド潜在測地は、他の線型可逆分布を許容することができる。 我々はさらに、ガウス世界よりも球面世界にとって厳密な近似回復境界を導出する。 ガウス空間、球面空間、およびトロイダル空間の実験では、幾何的に互換性のある対象は最適化が成功するとより良い線形回復をもたらすが、不一致な対象は潜在構造を歪ませる。 この利点は、高次元クリフォード・トーラスの世界において持続する。

関連論文リスト

• Projective Maximum Entropy: Universality and Acceptance-Region Calibration [2.639737913330821]
  非負測度の射影空間上の最大エントロピーを定式化する。 同じ正規化パワー汎函数の任意の許容単調変換は、線形モーメント制約の下で全く同じ普遍性を持つ。 結果として生じるアフィン-同変参照密度は、唯一の射影最大エントロピー解である。
  論文  参考訳（メタデータ） (2026-07-17T22:50:47Z)
• The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model [73.29820477295043]
  Contrastive Language-Image Pretraining (CLIP) 表現は、コサイン類似性によって支配されるセマンティック埋め込み空間を形成する。 本稿では,MovMF(MovMF)分布の混合に基づくCLIP潜伏空間の原理密度モデルを提案する。
  論文  参考訳（メタデータ） (2026-07-15T10:05:53Z)
• SPHERE-JEPA: Spherical Prediction with Homogeneous Embeddings [11.087393998848254]
  近年、LeJEPAはユークリッド空間における下流予測リスクを最小化するために、等方的ガウス埋め込みを最適とみなしている。 最悪の場合の定式化では、k-アネレスト近傍とカーネルリッジ回帰の両方が超球面均一性を引き起こす。 理論的に基盤となるSSLフレームワークであるSPHERE-JEPAを紹介する。
  論文  参考訳（メタデータ） (2026-05-26T12:00:40Z)
• When Does LeJEPA Learn a World Model? [48.74247491501631]
  世界の真の自由度を揺るがす表現は、信頼できる計画や構成的一般化を支持できない。 我々は,LJEPAが非線形観測から世界の潜伏変数を線形に復元することを証明した。 本研究では,2次元の例から1024次元の潜伏物体まで,分布の短縮や画素ベースのロボット制御を含む実験により,この理論を検証した。
  論文  参考訳（メタデータ） (2026-05-25T22:56:26Z)
• Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors [0.0]
  Link-Sequential R-SafeBayes(リンク・シークエンシャル・R-SafeBayes)は、初期リスクを推定し、後続正則化を適応的に調整する手法である。 合成および実世界のネットワークの実験では、キャリブレーションの改善、リンク予測性能の向上、ユークリッド空間、球状空間、双曲空間をまたいだ潜在測地を選択するための信頼性の高い基準が示されている。
  論文  参考訳（メタデータ） (2026-05-18T12:53:43Z)
• Relative Wasserstein Angle and the Problem of the $W_2$-Nearest Gaussian Distribution [4.042425236692822]
  本研究では, 最適輸送の枠組みの下で, 経験的分布がガウス性からどこまで逸脱するかを定量化する問題について検討する。 相対変換不変な二次ワッサーシュタイン空間の錐幾何学を利用して、2つの新しい幾何学量を導入する。 この空間の任意の2光線によって生成される充填円錐は平坦であり、角度、射影、内部積が厳密に明確に定義されていることを証明する。
  論文  参考訳（メタデータ） (2026-01-29T22:03:10Z)
• Optimal Transportation and Alignment Between Gaussian Measures [80.4634530260329]
  最適なトランスポート(OT)とGromov-Wasserstein(GW)アライメントは、データセットの解釈可能な幾何学的フレームワークを提供する。 これらのフレームワークは計算コストが高いため、大規模アプリケーションは2次コストでガウス分布の閉形式解に依存することが多い。 この研究は、ガウス的、二次的コスト OT と内部積 GW (IGW) のアライメントを包括的に扱い、文学におけるいくつかのギャップを埋めて適用性を広げる。
  論文  参考訳（メタデータ） (2025-12-03T09:01:48Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。