論文の概要: Var-JEPA: A Variational Formulation of the Joint-Embedding Predictive Architecture -- Bridging Predictive and Generative Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2603.20111v1
• Date: Fri, 20 Mar 2026 16:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.239055
• Title: Var-JEPA: A Variational Formulation of the Joint-Embedding Predictive Architecture -- Bridging Predictive and Generative Self-Supervised Learning
• Title（参考訳）: Var-JEPA: 共同組み込み予測アーキテクチャの変分定式化 -- 予測的および生成的自己監視型学習のブリッジング
• Abstract要約: JEPA(Joint-Embedding Predictive Architecture)は、確率に基づく自己教師型学習の非生成的代替と見なされることが多い。 我々は、標準のJEPA設計、コンテクスト・ツー・ターゲット予測器との結合エンコーダは、変分後部と学習条件前部を反映すると主張している。 Var-JEPAは、単一のエビデンス下界を最適化することにより、潜伏する遺伝子構造を明示する。
• 参考スコア（独自算出の注目度）: 2.1127261244588156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Joint-Embedding Predictive Architecture (JEPA) is often seen as a non-generative alternative to likelihood-based self-supervised learning, emphasizing prediction in representation space rather than reconstruction in observation space. We argue that the resulting separation from probabilistic generative modeling is largely rhetorical rather than structural: the canonical JEPA design, coupled encoders with a context-to-target predictor, mirrors the variational posteriors and learned conditional priors obtained when variational inference is applied to a particular class of coupled latent-variable models, and standard JEPA can be viewed as a deterministic specialization in which regularization is imposed via architectural and training heuristics rather than an explicit likelihood. Building on this view, we derive the Variational JEPA (Var-JEPA), which makes the latent generative structure explicit by optimizing a single Evidence Lower Bound (ELBO). This yields meaningful representations without ad-hoc anti-collapse regularizers and allows principled uncertainty quantification in the latent space. We instantiate the framework for tabular data (Var-T-JEPA) and achieve strong representation learning and downstream performance, consistently improving over T-JEPA while remaining competitive with strong raw-feature baselines.
• Abstract（参考訳）: JEPA(Joint-Embedding Predictive Architecture)はしばしば、観測空間における再構成ではなく、表現空間における予測を強調する、可能性に基づく自己教師付き学習の非生成的な代替と見なされる。 正準型JEPA設計、コンテキスト・ツー・ターゲット予測器との結合エンコーダ、変分後部と学習条件を反映し、変動推論が結合された潜在変数モデルの特定のクラスに適用された場合に得られる学習条件を反映し、標準JEPAは、アーキテクチャやトレーニングの規則化が明示的な可能性ではなく、アーキテクチャやトレーニングのヒューリスティックスによって課される決定論的特殊化と見なすことができる。 この観点から,変分JEPA (Var-JEPA) を導出し,単一のエビデンス下界 (ELBO) を最適化することにより,潜時生成構造を明確にする。 これにより、アドホックな反崩壊正則化器を使わずに有意義な表現が得られ、潜在空間における原理的不確かさの定量化が可能である。 表形式データ(Var-T-JEPA)のフレームワークをインスタンス化し、強力な表現学習と下流性能を実現し、T-JEPAよりも一貫して改善しつつ、強力な生機能ベースラインとの競争を継続する。

関連論文リスト

• Orthogonal JEPA: Factorized Predictive States for Latent World Models [95.20158869896393]
  予測因数分解に基づく潜在的世界モデリングフレームワークであるメソッドを導入する。 そこで本研究では,予測構造を弱め,あるいは矛盾する勾配を抑えつつ,冗長なキャパシティを支配的信号に割り当てる手法を提案する。 制御された視覚、単細胞転写学、縦断的な健康記録、連続的な制御、分子動力学の実験は、表現品質、予測、計画、長期安定性を評価する。
  論文  参考訳（メタデータ） (2026-08-20T13:59:57Z)
• APO: Unsupervised Atomic Policy Optimization for 3D Structure Prediction of Atomic Systems [64.56252173115246]
  そこで本研究では, 基幹構造を不要とした非教師なしアライメントフレームワーク(Atomic Policy Optimization)を提案する。 APOは、新しい二重回帰機構を利用して、3次元原子環境にグループ相対的なポリシー最適化を適用する。 この結果から,本質的な物理的整合性は,ノイズや教師付き座標マッチングよりも優れたアライメントのガイドとなる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-07-30T17:21:58Z)
• One Step Closer to Ground Truth: A Multi-Scale Residual-Aware Representation Learning Pipeline for Predicting Time Series Data [6.704099492625706]
  本稿では,予測と残差学習を表現学習の異なる段階に明確に分離する2段階のモデル非依存フレームワークを提案する。 このパイプラインを仮説空間拡張として定式化することにより、我々のフレームワークは単一ステージアーキテクチャに固有の近似制限に対処する。
  論文  参考訳（メタデータ） (2026-06-09T10:31:54Z)
• CatalyticMLLM: A Graph-Text Multimodal Large Language Model for Catalytic Materials [61.546562658308005]
  触媒材料のためのグラフテキスト多モード大言語モデルQE-Catalytic-V2を提案する。 プロパティ予測と逆設計を同じモデルと共有表現空間に統合する。 この統合フレームワークでは、QE-Catalytic-V2は信頼性の高いプロパティ予測を行うだけでなく、物理的に実現可能なCIF候補を生成し、表示することができる。
  論文  参考訳（メタデータ） (2026-05-17T04:31:46Z)
• Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
  本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。 モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
  論文  参考訳（メタデータ） (2026-05-16T12:01:04Z)
• Gaussian Joint Embeddings For Self-Supervised Representation Learning [0.0]
  自己パラメトリック表現学習は、しばしば決定論的予測アーキテクチャに頼り、潜在空間におけるコンテキストとターゲットビューを整列させる。 生成的関節モデルに基づく確率的代替案を提案する。
  論文  参考訳（メタデータ） (2026-03-26T00:54:54Z)
• BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning [0.0]
  BiJEPAは、データセグメント間のサイクル一貫性予測を強制する。 合成周期信号,カオス的ロレンツ誘導軌道,高次元画像データという3つの異なるモードでBiJEPAを評価した。
  論文  参考訳（メタデータ） (2026-02-10T01:16:20Z)
• Joint Embedding Variational Bayes [0.08594140167290097]
  変分ジョイント・エンベディング(VJE)は、関節埋め込みと変分推論を合成するフレームワークである。 VJEは、再構成のない非競合的な環境で確率的表現の自己教師付き学習を可能にする。
  論文  参考訳（メタデータ） (2026-02-05T13:18:53Z)
• Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations [53.61624356747686]
  JEPA(Joint-Embedding Predictive Architectures)は、ビュー不変表現を学習し、崩壊防止のためのプロジェクションベースの分布マッチングを認める。 既存のアプローチは、等方的ガウス分布に対する表現を正則化するが、本質的には密度表現を好んでおり、効率的な表現で観察されるスパーシティの重要な性質を捉えることができない。 本稿では,Rectified Generalized Gaussian(RGG)分布に表現を整合させる2サンプル分布整合損失であるRDMRegを導入する。
  論文  参考訳（メタデータ） (2026-02-01T21:49:30Z)
• VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models [0.0]
  EmphVariational JEPA (VJEPA) はテキスト確率論的な一般化であり、変動目的を通して将来の潜伏状態の予測分布を学習する。 VJEPA表現は、画素再構成なしで最適な制御のための十分な情報状態として機能し、崩壊回避の正式な保証を提供する。 我々は、予測的信念を学習力学の専門家とモジュラー事前専門家に分解する拡張であるEmphBayesian JEPA (BJEPA)を提案する。
  論文  参考訳（メタデータ） (2026-01-20T18:04:16Z)
• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning [14.869908713261227]
  Contrastive-JEPAは、画像ベースのジョイントエンベッドディング予測アーキテクチャと可変不変共分散正規化(VICReg)戦略を統合している。 C-JEPAは視覚表現学習の安定性と品質を大幅に向上させる。 ImageNet-1Kデータセットで事前トレーニングされた場合、C-JEPAは線形プローブと微調整パフォーマンスメトリクスの両方において、迅速で改善された収束を示す。
  論文  参考訳（メタデータ） (2024-10-25T13:48:12Z)
• Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
  コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。 本稿では,共形予測を連邦学習環境に拡張する。 本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
  論文  参考訳（メタデータ） (2023-05-27T19:57:27Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Self-Reflective Variational Autoencoder [21.054722609128525]
  変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。 自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。 実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
  論文  参考訳（メタデータ） (2020-07-10T05:05:26Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。