Fugu-MT 論文翻訳(概要): DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models

論文の概要: DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models

arxiv url: http://arxiv.org/abs/2606.00091v1
Date: Sun, 24 May 2026 16:14:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:27.880285
Title: DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models
Title（参考訳）: DLLM-JEPA:masked Diffusion Language Modelの予測型アーキテクチャ
Authors: Sangdae Nam,
Abstract要約: JEPA(Joint Embedding Predictive Architectures)は、視覚における自己教師型表現学習を再構築した。 LLMM-JEPAは、JEPAとマスク拡散言語モデルを組み合わせて、両方のコストを同時に排除する。拡散モデルの双方向の注意は、異なるマスキングレートを通して同じ入力の2つの意味的に異なるビューをもたらす。
参考スコア（独自算出の注目度）: 1.0152838128195467
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Joint Embedding Predictive Architectures (JEPAs) have reshaped self-supervised representation learning in vision. The recent LLM-JEPA ported JEPA to autoregressive language models but inherited two steep costs from the causal-attention substrate: it demands explicit multi-view data (e.g., text-code pairs), and it requires two gradient-carrying forward passes per step. We introduce DLLM-JEPA, which pairs JEPA with masked-diffusion language models to eliminate both costs at once. The bidirectional attention of diffusion models yields two semantically distinct views of the same input via different masking rates -- no explicit pairs needed -- and supports a single gradient-carrying forward pass, cutting training FLOPs by 33% relative to LLM-JEPA. DLLM-JEPA improves over diffusion-only fine-tuning in every (task, architecture) combination we evaluate: up to +18.7 pp on LLaDA-8B GSM8K and +11.4 pp on Dream-7B GSM8K, with consistent positive gains on Spider, NL-RX-SYNTH, and Django. Beyond accuracy, DLLM-JEPA exhibits a dual-win property: on LLaDA-8B with the Wide-t configuration, it simultaneously raises GSM8K accuracy (67.1 vs. 65.2, +1.8 pp), drives held-out Wikitext loss below the pre-trained base, and preserves MMLU accuracy at base level across three fine-tuning seeds -- whereas an L2-to-base parameter anchor matches baseline accuracy with no task gain. Layer-wise probing reveals the mechanism: a geometric-functional drift dissociation in which the fine-tuned backbone moves further from the pre-trained weights than the baseline yet forgets less on held-out Wikitext, with the amplification concentrated in middle transformer layers. The pattern appears on Dream-7B as well, indicating the phenomenon is not specific to a single backbone.
Abstract（参考訳）: JEPA(Joint Embedding Predictive Architectures)は、視覚における自己教師型表現学習を再構築した。最近のLLM-JEPAはJEPAを自動回帰言語モデルに移植したが、因果アテンションベースから2つの急激なコストを継承した。我々は,JEPAとマスク拡散言語モデルを組み合わせたDLLM-JEPAを導入し,両コストを同時に削減する。拡散モデルの双方向の注意は、異なるマスキングレート -- 明示的なペアを必要としない -- を通じて、同じ入力を意味的に区別する2つのビューをもたらし、単一の勾配の前方通過をサポートし、LLM-JEPAと比較してFLOPを33%削減する。 DLLM-JEPAは,LLaDA-8B GSM8Kで+18.7pp,Dream-7B GSM8Kで+11.4pp,Spider,NL-RX-SYNTH,Djangoで一貫した正の利得で,拡散のみの微調整よりも改善する。 DLLM-JEPAは、LLaDA-8BのWide-t構成では、GSM8Kの精度(67.1 vs. 65.2, +1.8 pp)を同時に上昇させ、事前訓練されたベース以下でウィキテキストの損失を発生させ、3つの微調整種子のベースレベルでMMLUの精度を維持する。微調整されたバックボーンがベースラインよりもトレーニング済みの重みからさらに移動する幾何学的機能的なドリフト解離は、ウィキテキストの保持を少なくし、増幅は中間変圧器層に集中している。このパターンはドリーム7Bにも現れ、この現象は単一のバックボーンに固有のものではないことを示している。

論文の概要: DLLM-JEPA: Joint Embedding Predictive Architectures for Masked Diffusion Language Models

関連論文リスト