論文の概要: Understanding the Reversal Curse Mitigation in Masked Diffusion Models through Attention and Training Dynamics

• arxiv url: http://arxiv.org/abs/2602.02133v1
• Date: Mon, 02 Feb 2026 14:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.195288
• Title: Understanding the Reversal Curse Mitigation in Masked Diffusion Models through Attention and Training Dynamics
• Title（参考訳）: 意識とトレーニングのダイナミクスによる仮面拡散モデルの逆曲線緩和の理解
• Authors: Sangwoo Shin, BumJun Kim, Kyelim Lee, Moongyu Jeon, Albert No,
• Abstract要約: 仮面拡散に基づく言語モデル(MDM)は、この失敗をはるかに弱い形で示す。 一般的な説明では、この緩和はいかなる順序の訓練目標にも当てはまる。 この緩和は、建築構造とトレーニングとの相互作用から生じることを示す。
• 参考スコア（独自算出の注目度）: 9.377137420607541
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models (ARMs) suffer from the reversal curse: after learning that "$A$ is $B$", they often fail on the reverse query "$B$ is $A$". Masked diffusion-based language models (MDMs) exhibit this failure in a much weaker form, but the underlying reason has remained unclear. A common explanation attributes this mitigation to the any-order training objective. However, observing "[MASK] is $B$" during training does not necessarily teach the model to handle the reverse prompt "$B$ is [MASK]". We show that the mitigation arises from architectural structure and its interaction with training. In a one-layer Transformer encoder, weight sharing couples the two directions by making forward and reverse attention scores positively correlated. In the same setting, we further show that the corresponding gradients are aligned, so minimizing the forward loss also reduces the reverse loss. Experiments on both controlled toy tasks and large-scale diffusion language models support these mechanisms, explaining why MDMs partially overcome a failure mode that persists in strong ARMs.
• Abstract（参考訳）: 自動回帰言語モデル(ARM)は、"$A$ is $B$"と知った後、"$B$ is $A$"という逆のクエリで失敗することが多い。 仮面拡散に基づく言語モデル(MDM)は、この失敗をはるかに弱い形で示すが、根底にある理由はいまだ不明である。 一般的な説明では、この緩和はいかなる順序の訓練目標にも当てはまる。 しかしながら、トレーニング中の"[MASK]は$B$"を観察することは、必ずしも"B$ is [MASK]"という逆のプロンプトを扱うようにモデルに教えるとは限らない。 この緩和は、建築構造とトレーニングとの相互作用から生じることを示す。 1層トランスフォーマーエンコーダにおいて、重み共有は前後の注意スコアを正に相関させて2方向を結合する。 同じ設定で、対応する勾配が整列していることが示されるので、前方の損失を最小限に抑えることで、逆の損失も減少する。 制御された玩具タスクと大規模拡散言語モデルの両方の実験はこれらのメカニズムをサポートし、MDMが強力なARMで持続する障害モードを部分的に克服する理由を説明する。

関連論文リスト

• Dispersion Loss Counteracts Embedding Condensation and Improves Generalization in Small Language Models [55.908141398092646]
  大規模言語モデル(LLM)はパラメータ数の増加によって顕著な性能を達成するが、スケーリングは計算コストの急激な増加を招く。 本研究では,LLMと小型モデルの表現特性を再現することを目的として,LLMと小型モデルの表現特性の相違について検討する。 我々は、 $textttGPT2$ や $textttQwen3-0.6B$ のような小さなモデルは、深刻な凝縮を示し、 $textttGPT2-xl$ や $textttQwen3-32B のような大きなモデルは、
  論文  参考訳（メタデータ） (2026-01-30T16:07:03Z)
• Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions [14.85882273040068]
  仮面拡散モデル (MDMs) は、離散領域にまたがる生成的モデリングのための有望な代替手法として登場した。 適応推論は、事前訓練されたMDMの精度を7$%から90$%に向上させ、ARMを7times$のパラメータで上回ります。
  論文  参考訳（メタデータ） (2025-02-10T18:47:21Z)
• Towards a Theoretical Understanding of the 'Reversal Curse' via Training Dynamics [45.69328374321502]
  自動回帰型大言語モデル(LLM)は、多くの複雑な推論タスクを解くのに優れた能力を示す。 LLM は、2つの文が意味的に同一であっても、推論中に '$B get A$' と結論付けることができない。 2つの自己回帰モデルに対する勾配降下のトレーニング力学を用いて、理論的に逆の呪いを解析する。
  論文  参考訳（メタデータ） (2024-05-07T21:03:51Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning [61.8003954296545]
  Atention Guided Knowledge Distillation and Bi-directional Metric Learning (AGKD-BML) による新しい対人訓練ベースモデルを提案する。 提案したAGKD-BMLモデルは,最先端のアプローチよりも一貫して優れている。
  論文  参考訳（メタデータ） (2021-08-13T01:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。