論文の概要: Mask-Aware Execution for Efficient JEPA Training

• arxiv url: http://arxiv.org/abs/2609.22674v1
• Date: Sat, 19 Sep 2026 01:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.517417
• Title: Mask-Aware Execution for Efficient JEPA Training
• Title（参考訳）: 効率的なJEPAトレーニングのためのマスク・アウェアの実行
• Abstract要約: 共同埋め込み予測アーキテクチャ(Joint Embedding Predictive Architectures、JEPA)は、視覚、ビデオ、オーディオ、脳のダイナミクス、時系列などの潜在世界モデルのためのビルディングブロックである。 現在のJEPAトレーニングパイプラインは非効率で、各入力は複数のマスク固有のブランチを通じて実行され、冗長なターゲットサイドの作業とメモリバウンドトークンルーティングがある。 学習目標を変更することなくJEPAトレーニングを再構築するマスク対応実行アーキテクチャであるM-JEPAを提案する。
• 参考スコア（独自算出の注目度）: 3.997783715451533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint Embedding Predictive Architectures (JEPAs) are becoming a core representation-learning primitive and a building block for latent world models across vision, video, audio, brain dynamics, and time series. Despite (potential of) wide deployment, current JEPA training pipelines are inefficient: each input is executed through multiple mask-specific branches, with redundant target-side work, and memory-bound token routing. These costs grow with the number of masks and limit GPU efficiency. We present M-JEPA, a mask-aware execution architecture that restructures JEPA training without changing the learning objective. M-JEPA separates mask-independent computation from mask-dependent routing, enabling shared context encoder execution, fused token routing and slicing with backward support, sparse target encoder execution over the union of target tokens, and masked patch embedding for sparse inputs. The resulting pipeline preserves training semantics while reducing computation, memory traffic, and synchronization overhead. We implement M-JEPA for five JEPA variants and evaluate it on NVIDIA A100 GPUs. Compared against the state-of-the-art baselines, M-JEPA achieves up to 1.7x end-to-end training speedup for 2-10 masks. Separately, with masked patch embedding, 4.75x patch-embedding speedup at high sparsity. These results show that execution restructuring, rather than changes to the JEPA objective, is a key lever for efficient JEPA training.
• Abstract（参考訳）: JEPA(Joint Embedding Predictive Architectures)は、視覚、ビデオ、オーディオ、脳動力学、時系列をまたいだ潜在世界のモデルのための、中核的な表現学習プリミティブとビルディングブロックになりつつある。 広範なデプロイメントにもかかわらず、現在のJEPAトレーニングパイプラインは非効率である。各入力は複数のマスク固有のブランチを通じて実行され、冗長なターゲットサイドの作業とメモリバウンドトークンルーティングがある。 これらのコストは、マスクの数の増加とGPU効率の制限によって増加する。 学習目標を変更することなくJEPAトレーニングを再構築するマスク対応実行アーキテクチャであるM-JEPAを提案する。 M-JEPAはマスク非依存の計算とマスク依存のルーティングを分離し、共有コンテキストエンコーダの実行、融合トークンルーティングと後方サポートによるスライシング、ターゲットトークンの結合によるスパースターゲットエンコーダの実行、スパース入力のためのマスク付きパッチ埋め込みを可能にする。 結果のパイプラインは、計算、メモリトラフィック、同期オーバーヘッドを低減しながら、トレーニングセマンティクスを保存する。 5つのJEPA変種に対してM-JEPAを実装し、NVIDIA A100 GPU上で評価する。 最先端のベースラインと比較して、M-JEPAは2-10マスクのエンドツーエンドのトレーニング速度を最大1.7倍に向上させる。 第二に、マスク付きパッチの埋め込みにより、高速な4.75倍のパッチ埋め込みが可能である。 これらの結果は、JEPAの目標を変更するのではなく、実行の再構築がJEPAの効率的なトレーニングのための重要なレバーであることを示している。

関連論文リスト

• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• Object-centric LeJEPA [16.408669047976023]
  画像全体ではなく、オブジェクト中心の表現をアライメントするために、LeJEPAを拡張します。 2つのモデルスケールとCOCOの10-100%のオブジェクトレベルLeJEPAは、トラッキング(DAVIS)、分類(ImageNet-1k)、セグメンテーション(ADE20k)、再識別(NAVI)において、画像レベルLeJEPAより優れています。
  論文  参考訳（メタデータ） (2026-07-02T16:38:21Z)
• DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
  効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。 並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。 当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
  論文  参考訳（メタデータ） (2026-04-09T14:35:42Z)
• CrossJEPA: Cross-Modal Joint-Embedding Predictive Architecture for Efficient 3D Representation Learning from 2D Images [1.20952748584685]
  3次元表現学習における大規模3次元データセットの不足に対処するために、クロスモーダルなクロスモーダル学習が出現している。 画像基礎モデルの知識を生かしたシンプルなクロスモーダル共同埋め込み予測アーキテクチャであるCrossJEPAを提案する。
  論文  参考訳（メタデータ） (2025-11-23T12:40:04Z)
• Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [108.0657508755532]
  我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。 これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2025-07-09T07:27:00Z)
• Joint-Embedding Predictive Architecture for Self-Supervised Learning of Mask Classification Architecture [5.872289712903129]
  マスク分類アーキテクチャ(MCA)に適した自己教師型学習フレームワークであるMask-JEPAを紹介する。 Mask-JEPAは、統合埋め込み予測アーキテクチャとMCAを組み合わせることで、複雑なセマンティクスと正確なオブジェクト境界を正確にキャプチャする。 提案手法は,1) 画素デコーダから普遍的画像分割のための包括的表現を抽出し,2) 変換器デコーダを効果的に訓練する,自己教師型学習における2つの重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-07-15T14:01:03Z)
• DMT-JEPA: Discriminative Masked Targets for Joint-Embedding Predictive Architecture [18.578689440216774]
  我々はJEPAに根ざした新しいマスク付きモデリング対象であるDMT-JEPAを紹介する。 我々は、セマンティックに類似した隣接パッチのセットを、マスクされたパッチのターゲットとみなす。 DMT-JEPAは強力な差別力を示し、下流の様々なタスクに利益をもたらす。
  論文  参考訳（メタデータ） (2024-05-28T09:28:52Z)
• Rethinking Patch Dependence for Masked Autoencoders [89.02576415930963]
  マスク付きオートエンコーダ(MAE)のデコーダにおけるパッチ間の依存関係が表現学習に与える影響について検討する。 クロスアテンションマスク付きオートエンコーダ(CrossMAE)の簡易な視覚前訓練フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-25T18:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。