論文の概要: UR-JEPA: Uniform Rectifiability as a Regularizer for Joint-Embedding Predictive Architectures

• arxiv url: http://arxiv.org/abs/2606.01443v1
• Date: Sun, 31 May 2026 20:26:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.707444
• Title: UR-JEPA: Uniform Rectifiability as a Regularizer for Joint-Embedding Predictive Architectures
• Title（参考訳）: UR-JEPA: 統合組込み予測アーキテクチャのための正規化器としての一様整形性
• Authors: Triet M. Le,
• Abstract要約: 局所次元の均一に$n$の補正可能な測度を小スケールで目標とするEmphUR-JEPAを提案する。 UR--JEPA($mathcalLtextCGLT$)は指数$sim 20$から$25$のグローバルな幾何スペクトルを生成し、LeJEPAのスペクトルはほぼ平坦である(最大ボトム比は3.6ドル)。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central difficulty in training Joint-Embedding Predictive Architectures (JEPAs) is preventing representation collapse. LeJEPA addresses this by enforcing an isotropic Gaussian target on the embeddings via Sketched Isotropic Gaussian Regularization (SIGReg). This target is in tension with the manifold hypothesis, which expects embeddings to concentrate on a low-dimensional subset of the ambient space. We propose \emph{UR-JEPA}, which targets a uniformly $n$-rectifiable measure of local tangent dimension $n$ at small scales, realized through a Gaussian-kernel smoothed Carleson-type square function $\mathcal{L}^{\text{CGLT}}$, with a complementary Jones $β$-number formulation. On Inet10, UR-JEPA($\mathcal{L}^{\text{CGLT}}$) attains $0.9141 \pm 0.0014$ for a $+0.83$\,pp gain over LeJEPA($\mathcal{L}^{\text{SIGReg}}$) with $\sim 30\%$ lower seed standard deviation; on matched-recipe Galaxy10~SDSS, a single-seed ImageNet-$100$ run, and a $3$-seed EuroSAT remote-sensing run, the two methods lie in the same peak-accuracy band at convergence, with UR-JEPA retaining its lower-seed-variance signature. On EuroSAT the in-domain pair is competitive at $96.0$ to $96.1\%$ with large remote-sensing foundation-model transfer at a $25\times$ smaller backbone. The distinction is geometric: direct visualization of the projector output distribution shows that on all four datasets UR--JEPA($\mathcal{L}^{\text{CGLT}}$) produces a global PCA spectrum with a $4$ to $5$ order-of-magnitude drop at index $\sim 20$ to $25$ out of $D = 32$, while LeJEPA's spectrum is near-flat (top-to-bottom ratio at most $3.6$). Per-dimension marginals are simultaneously near-Gaussian for both methods (mean Shapiro-Wilk $W \in [0.992, 0.996]$) as a Diaconis-Freedman consequence. At matched accuracy the two regularizers therefore yield structurally distinct projected representations.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)のトレーニングにおける中心的な困難は、表現の崩壊を防ぐことである。 LeJEPAは、Sketched Isotropic Gaussian Regularization (SIGReg) を通じて、埋め込み上の等方ガウス的ターゲットを強制することでこの問題に対処する。 このターゲットは、埋め込みが周囲空間の低次元部分集合に集中することを期待する多様体仮説と緊張関係にある。 局所接次元を小さいスケールで均一に$n$-rectifiable measure of local tangent dimension $n$を目標とし、ガウス的カーネルスムーズなカールソン型正方函数 $\mathcal{L}^{\text{CGLT}}$ で実現した。 Inet10では、UR-JEPA($\mathcal{L}^{\text{CGLT}}$)が、LeJEPA($\mathcal{L}^{\text{SIGReg}}$)よりも$0.9141 \pm 0.0014$、$$$\mathcal{L}^{\text{SIGReg}}$)に到達した。 EuroSATでは、ドメイン内のペアは9.6.0ドルから9.6.1セント%の価格で競争力があり、リモートセンシングのファンデーションモデル転送は25.0ドルより小さいバックボーンで競争力がある。 プロジェクター出力分布の直接可視化は、すべての4つのデータセット上でUR--JEPA($\mathcal{L}^{\text{CGLT}}$)が指数$$$$から$$$$$のオーダー・オブ・マグニチュード・ドロップを持つグローバルPCAスペクトルを生成することを示している。 ダイアコニス・フリードマンの帰結として、各次元辺は両方の方法 (平均シャピロ・ウィルク$W \in [0.992, 0.996]$) に対して同時にガウス近傍である。 一致した精度で、2つの正規化器は構造的に異なる射影表現を生成する。

関連論文リスト

• Hidden-State Privacy Has an Empty Middle [51.56484100374058]
  すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。 スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
  論文  参考訳（メタデータ） (2026-05-21T20:12:09Z)
• Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction [0.0]
  JEPAs はしばしば一視点埋め込みを等方ガウスへ正規化し、ユークリッド対称性を表現に暗黙的に焼く。 これは単なる良心的デフォルトではないことを示す。下流幾何学が未知の場合、幾何非依存の固定限界目標が標準的でない。 この原則をtextbfHamJEPA でインスタンス化し、各ビューを相空間状態 $(q,p)$ としてエンコードし、ビューからビューへの遷移を予測する。
  論文  参考訳（メタデータ） (2026-05-19T16:57:47Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• The Wristband Gaussian Loss: Deterministic, Composable Latents via a Sphere-Interval Decomposition [1.0195618602298684]
  リストバンドガウス損失(英: Wristband Gaussian Loss)は、サンプリング、KL項、反復輸送のないガウス化点埋め込みに対する決定論的バッチ損失である。 我々は、この反射カーネルの目的を、2つの方法で計算する:$O(N2 d)$で最寄りの3イメージのペアランケーションと、角およびラジアルマーサーモードに結合するスペクトルノイマン経路である。 1Dワッサーシュタインの半径項とモーメントペナルティは同じ最適値を持つ有限サンプル加速器として機能し、モンテカルロ$はこれらの成分を単一の標準統計量に変換する。
  論文  参考訳（メタデータ） (2026-05-09T07:25:37Z)
• A Closed-Form Adaptive-Landmark Kernel for Certified Point-Cloud and Graph Classification [0.0]
  PALACEはOrbitHS5k(91.3pm 1.0%$, matching Persformer)上で最強の閉形式ダイアグラムベースの方法である ドメインインフレーションが8ドルになると、均等グリッドが崩壊する一方、プレースメントは94%$を維持している(4クラスデータでは25%$) PALACEはOrbitHS5k(91.3pm 1.0%$, matching Persformer)上で最強の閉形式ダイアグラムベースの手法である。
  論文  参考訳（メタデータ） (2026-05-05T17:59:18Z)
• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
  2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。 グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。