論文の概要: Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures

• arxiv url: http://arxiv.org/abs/2610.02344v1
• Date: Thu, 01 Oct 2026 18:16:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 19:20:54.745767
• Title: Drive vs. Decay: On the Training Dynamics of Joint-Embedding Predictive Architectures
• Title（参考訳）: Drive vs. Decay: 統合埋め込み予測アーキテクチャのトレーニングダイナミクスについて
• Abstract要約: JEPA(Joint-Embedding Predictive Architectures)は崩壊しがちである。 我々はこれらを統一する早期学習安定理論を開発する。 本稿では,初期化時のアイデンティティに対して注意が偏っているトランスフォーマー予測器ResidualPredを紹介する。
• 参考スコア（独自算出の注目度）: 5.790458475928127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint-Embedding Predictive Architectures (JEPAs) are prone to representation collapse, typically mitigated through empirical heuristics. We develop an early-training stability theory that unifies these heuristics. Linearising the coupled JEPA gradient flow around the trivial fixed point reveals two competing effects: a driving force ($γ$) and a decay effect ($σ$). Under approximate spectral decoupling, a per-mode stability ratio $μ_i = γ_i / σ_i$ factorises into independent data-side and predictor-side terms and the count of unstable modes tracks the rank of representations that can emerge. The framework predicts a phase boundary, which we confirm empirically across more than 800 Tabular-JEPA configurations. It also unifies predictor scaling, masking ratio, and EMA as distinct mechanisms for shifting $μ$. Guided by this analysis, we introduce ResidualPred, a transformer predictor whose attention is biased toward the identity at initialisation; it improves both effective rank and downstream accuracy on tabular benchmarks and in I-JEPA pretraining on CIFAR-10, CIFAR-100, STL-10, and ImageNet. Our framework connects empirical collapse-avoidance heuristics to an explicit dynamical picture, yielding theory-driven stabilizers. Code is available at https://github.com/jose-melo/drive-vs-decay.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architectures)は、一般的に経験的ヒューリスティックスによって緩和される、崩壊を表現する傾向にある。 我々はこれらのヒューリスティックスを統一する早期学習安定理論を開発する。 結合したJEPA勾配の流れを自明な固定点を直線化すると、駆動力(γ$)と減衰効果(σ$)の2つの競合効果が明らかになる。 近似スペクトルデカップリングの下では、モードごとの安定性比$μ_i = γ_i / σ_i$は独立したデータ側と予測側に分解され、不安定モードのカウントは現れる可能性のある表現のランクを追跡する。 このフレームワークは800以上のTabular-JEPA構成を経験的に確認するフェーズ境界を予測します。 また、予測器のスケーリング、マスキング比、EMAを$μ$をシフトする別のメカニズムとして統一する。 本稿では,初期化時のアイデンティティに注意を向けた変換器予測器であるResidualPredを紹介する。これは,表型ベンチマークにおける効果的なランクとダウンストリームの精度と,CIFAR-10,CIFAR-100,STL-10,ImageNet上でのI-JEPA事前トレーニングを改善する。 我々の枠組みは経験的崩壊回避ヒューリスティックスを明示的な動的図形に結びつけ、理論駆動の安定化を導出する。 コードはhttps://github.com/jose-melo/drive-vs-decay.comで公開されている。

関連論文リスト

• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
  Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。 ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。 騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
  論文  参考訳（メタデータ） (2026-08-17T03:08:14Z)
• Link Prediction or Perdition: the Seeds of Instability in Knowledge Graph Embeddings [2.1174215880331766]
  埋め込みモデル(KGEMs)は知識グラフの完全化のための主要なリンク予測手法である。 標準評価プロトコルは、MRRやHits@$K$のようなランクベースのメトリクスを強調するが、通常、結果の安定性に対するランダムシードの影響を見落としている。 高性能モデルでは, 3次元空間と高変数空間において, 分岐予測が実際に発生する。
  論文  参考訳（メタデータ） (2026-06-02T09:13:50Z)
• Civilizational Metamaterials: Engineering Coordination Under Capability Gradients and Structural Turbulence [0.0]
  ガバナンスは規範的な規律からエンジニアリングの規律に移行しなければなりません。 メタマテリアルの物理にインスパイアされた形式的な枠組みを開発し、この遷移を定量的かつ検証可能にする。
  論文  参考訳（メタデータ） (2026-05-29T18:10:00Z)
• PnP-Corrector: A Universal Correction Framework for Coupled Spatiotemporal Forecasting [62.22445401483844]
  既存の手法は複雑なエラーのボトルネックによって厳しく制約されている。 我々は-Cast-Corrector (Plug-and-Play Corrector)と呼ばれる普遍的なフレームワークを提案する。 本手法は,結合予測システムの長期安定性を著しく向上させる。
  論文  参考訳（メタデータ） (2026-05-09T13:12:33Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
  シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。 そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-08T03:05:16Z)
• BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning [0.0]
  BiJEPAは、データセグメント間のサイクル一貫性予測を強制する。 合成周期信号,カオス的ロレンツ誘導軌道,高次元画像データという3つの異なるモードでBiJEPAを評価した。
  論文  参考訳（メタデータ） (2026-02-10T01:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。