論文の概要: Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction

• arxiv url: http://arxiv.org/abs/2605.20107v1
• Date: Tue, 19 May 2026 16:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.540405
• Title: Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction
• Title（参考訳）: JEPAsにおける等方性を超えて:ハミルトン幾何学とシンプレクティック予測
• Authors: Robert Jenkinson Alvarez,
• Abstract要約: JEPAs はしばしば一視点埋め込みを等方ガウスへ正規化し、ユークリッド対称性を表現に暗黙的に焼く。 これは単なる良心的デフォルトではないことを示す。下流幾何学が未知の場合、幾何非依存の固定限界目標が標準的でない。 この原則をtextbfHamJEPA でインスタンス化し、各ビューを相空間状態 $(q,p)$ としてエンコードし、ビューからビューへの遷移を予測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: JEPAs often regularize one-view embeddings toward an isotropic Gaussian, implicitly baking Euclidean symmetry into the representation. We show that this is not merely a benign default. For a known structured downstream geometry $H\succ0$, the minimax and maximum-entropy covariance under a Hamiltonian energy budget is $(c/d)H^{-1}$, and Euclidean isotropy incurs a closed-form price of isotropy. More importantly, when the downstream geometry is unknown, no geometry-independent fixed marginal target is canonical: every fixed covariance shape can be maximally misaligned for some structured geometry. We further show that even oracle one-view marginals do not identify the JEPA view-to-view predictive coupling. These results suggest that the structural bias in JEPAs should enter the cross-view coupling rather than a fixed encoder marginal. We instantiate this principle with \textbf{HamJEPA}, which encodes each view as a phase-space state $(q,p)$ and predicts view-to-view transitions with a learned Hamiltonian leapfrog map, while non-isotropic scale and spectral floors prevent collapse. In a deliberately headless token protocol, HamJEPA improves over SIGReg on CIFAR-100 by $+4.89$ kNN@20 and $+3.52$ linear-probe points at 30 epochs, and by $+6.45$ kNN@20 and $+10.64$ linear-probe points at 80 epochs, while a matched MLP predictor ablation shows that the symplectic coupling is the ingredient driving the neighborhood-geometry gain. On ImageNet-100, HamJEPA-$q$ improves by $+4.82$ kNN@20 and $+7.52$ linear-probe points at 45 epochs.
• Abstract（参考訳）: JEPAs はしばしば一視点埋め込みを等方ガウスへ正規化し、ユークリッド対称性を表現に暗黙的に焼く。 これは単なる良心的なデフォルトではないことを示す。 既知の構造化された下流幾何学において、ハミルトンエネルギー予算の下での極小と最大エントロピーの共分散は$(c/d)H^{-1}$であり、ユークリッド等方性はアイソトロピーの閉形式価格をもたらす。 さらに重要なことは、下流幾何が未知の場合、幾何非依存の固定境界目標が正準でないことである。 さらに、オラクルのワンビューの限界でさえJEPAのビュー・ツー・ビューの予測結合を識別していないことも示しています。 これらの結果は、JEPAsの構造バイアスが固定エンコーダの限界ではなく、クロスビュー結合に入ることを示唆している。 この原理を \textbf{HamJEPA} でインスタンス化する。これは各ビューを位相空間状態 $(q,p)$ としてエンコードし、学習したハミルトンの跳躍写像を用いてビューからビューへの遷移を予測し、非等方スケールとスペクトルフロアは崩壊を防ぐ。 意図的にヘッドレストークンプロトコルでは、HamJEPAはCIFAR-100上のSIGRegを$+4.89$ kNN@20と$+3.52$リニアプローブポイントを30 epochsで、$+6.45$ kNN@20と$+10.64$リニアプローブポイントを80 epochsで改善している。 ImageNet-100では、HamJEPA-$q$が$+4.82$ kNN@20、$+7.52$リニアプローブポイントを45エポックで改善している。

関連論文リスト

• Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
  Scoreベースの生成モデルは高次元空間で訓練されていることを示す。 有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
  論文  参考訳（メタデータ） (2026-05-15T10:20:05Z)
• OAM-Induced Lattice Rotation Reveals a Fractional Optimum in Fault-Tolerant GKP Quantum Sensing [0.0]
  軌道角モメンタム符号化とGottesman-Kitaev-Preskill(GKP)格子幾何学が構造的に結合していることを確立する。 終端から終端までの微分可能なStrawberry Fields--TensorFlow回路を用いて、$ell$、格子アスペクト比$r$、および有限エネルギーエンベロープ$$を共に最適化し、量子フィッシャー情報を最大化する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:16Z)
• Efficient Logistic Regression with Mixture of Sigmoids [15.14559143371469]
  この結果から,EW に対する$O(dlog(Bn))$,$O(B3 n5)$が最短計算量で達成できることが示唆された。 この結果から,オンライン分類において,EWは計算処理が可能であり,幾何学的に適応可能であることがわかった。
  論文  参考訳（メタデータ） (2026-04-03T09:36:34Z)
• Information Routing in Atomistic Foundation Models: How Task Alignment and Equivariance Shape Linear Disentanglement [0.0]
  本稿では,合成信号を線形に投影し,リッジプローブへの幾何的情報アクセス量を測定する合成プローブ分解(CPD)について紹介する。 モデルは、合成除去後にアクセス可能な幾何学的情報で6.6倍の差がある。 また, 非線形プローブは, 残留化表現に対して誤った導出結果をもたらし, 純合成対象に対して$R2 = 0.68$--0.95$を回収し, この設定に対して線形プローブを推奨することを示した。
  論文  参考訳（メタデータ） (2026-03-03T16:52:06Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Measurement-induced phase transition for free fermions above one dimension [46.176861415532095]
  自由フェルミオンモデルに対する$d>1$次元における測定誘起エンタングルメント相転移の理論を開発した。 臨界点は、粒子数と絡み合いエントロピーの第2累積のスケーリング$$elld-1 ln ell$でギャップのない位相を分離する。
  論文  参考訳（メタデータ） (2023-09-21T18:11:04Z)
• Near-optimal fitting of ellipsoids to random points [68.12685213894112]
  楕円体をランダムな点に合わせるという基本的な問題は、低ランク行列分解、独立成分分析、主成分分析に関係している。 我々はこの予想を、ある$n = Omega(, d2/mathrmpolylog(d))$ に対する適合楕円体を構成することで対数的因子まで解決する。 我々の証明は、ある非標準確率行列の便利な分解を用いて、サンダーソン等最小二乗構成の実現可能性を示す。
  論文  参考訳（メタデータ） (2022-08-19T18:00:34Z)
• Kondo effect in a non-Hermitian, $\mathcal{PT}$-symmetric Anderson model with Rashba spin-orbit coupling [3.1013276969076666]
  非エルミートハイブリダイゼーションの場合、$lambda$は非相互作用の場合であっても例外点を再正規化できることを示す。 強い結合構造では、$lambda$とインタラクションが協力して、Kondoの破壊に関連する臨界点を強く減らすことを示す。
  論文  参考訳（メタデータ） (2022-01-01T12:03:47Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。