Fugu-MT 論文翻訳(概要): Enhanced Masked Diffusion Unlearning

論文の概要: Enhanced Masked Diffusion Unlearning

arxiv url: http://arxiv.org/abs/2610.25447v1
Date: Sun, 18 Oct 2026 18:09:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 21:10:30.850897
Title: Enhanced Masked Diffusion Unlearning
Title（参考訳）: マスク付き拡散学習の高度化
Abstract要約: Masked Diffusion Unlearning (MDU)は、これらのモデル用にカスタマイズされた最初の公開未学習手法である。 MDUはモデル$p_$を調整し、フリーズしたプロンプトメイクのアンカー$p_mathrmanchor$に一致させる。本研究では,TOFU全体をマスクしたフリーズアンカーに対するアンカーファーストKLの偏差について,EMDU(Enhanced Masked Diffusion Unlearning)を提案する。
参考スコア（独自算出の注目度）: 21.05564340986074
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Masked diffusion language models (MDLMs) generate text by iteratively unmasking tokens with bidirectional context. As these models reach real-world deployment, machine unlearning becomes essential. This process aims to remove the influence of a designated "forget set" without retraining from scratch, so that sensitive, copyrighted, or restricted content can no longer be elicited while preserving retained capabilities. Masked Diffusion Unlearning (MDU) is the first publicly available unlearning method customized for these models: it tunes the model $p_θ$ to match a frozen prompt-masked anchor $p_{\mathrm{anchor}}$ on the forget set by minimizing the anchor-last divergence $\mathrm{KL}(p_θ\Vert p_{\mathrm{anchor}})$. We identify two failure modes of MDU. First, random answer masking can leave key forget tokens visible to the anchor even when the question is fully masked. Second, at a memorized (near-one-hot) prediction, the anchor-last logit gradient vanishes while the anchor-first divergence $\mathrm{KL}(p_{\mathrm{anchor}} \Vert p_θ)$ logit gradient does not. As a result, MDU training stalls on the tokens we most need to forget. Backed by theoretical and empirical analyses, we propose Enhanced Masked Diffusion Unlearning (EMDU): anchor-first KL divergence toward a frozen anchor whose entire answer span is masked. On TOFU and RWKU benchmarks using LLaDA-8B and Dream-7B, our EMDU matches or exceeds the forgetting of MDU and adapted AR baselines, while better preserving retain utility.
Abstract（参考訳）: マスク付き拡散言語モデル(MDLM)は、双方向コンテキストで反復的にトークンをアンマスキングすることでテキストを生成する。これらのモデルが現実世界のデプロイメントに到達するにつれ、機械学習は不可欠である。このプロセスは、指定された「ターゲットセット」の影響をスクラッチから再トレーニングすることなく取り除くことを目的としており、機密性、著作権、制限されたコンテンツは、保持された機能を維持しながら引き出すことができない。 Masked Diffusion Unlearning (MDU)は、これらのモデル用にカスタマイズされた最初の公開未学習メソッドである。これは、フリーズしたプロンプトマスクアンカーに$p_{\mathrm{anchor}}$を調整し、アンカーラスト発散率$\mathrm{KL}(p_θ\Vert p_{\mathrm{anchor}})$を最小化する。 MDUの2つの障害モードを同定する。第一に、ランダムな回答マスキングは、質問が完全にマスクされている場合でも、鍵の忘れトークンをアンカーに残すことができる。第二に、暗記された(1ホットに近い)予測において、アンカーラストロジット勾配は消滅するが、アンカー第一分岐$\mathrm{KL}(p_{\mathrm{anchor}} \Vert p_θ)$ロジット勾配は消滅しない。結果として、MDUのトレーニングは、最も忘れる必要があるトークンで行き詰まります。理論的および経験的分析を背景として,マスク付き拡散学習(EMDU:Enhanced Masked Diffusion Unlearning)を提案する。 LLaDA-8BとDream-7Bを使ったTOFUとRWKUのベンチマークでは、EMDUはMDUとARベースラインを忘れることと一致します。

関連論文リスト

CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation [38.60056414101559]
CUSEは、大規模言語モデルのための非学習フレームワークである。これは、現在のポリシーからサンプリングされた応答に対するトークンレベルの忘れと保持ターゲットを蒸留する。 MLLMU-Benchでは、CUSEはリザーブセットのROUGE-Lを33.6%削減し、保持セットのROUGE-Lは最強のベースラインよりも1.2%高い。
論文参考訳（メタデータ） (2026-10-10T09:37:30Z)
Learning to Re-Draft: A Variational Stackelberg Game for Discrete Diffusion [6.386706419360187]
仮面拡散モデル(英語版)は、仮面拡散が解かれるとトークンを固定するが、一様拡散は修正を許すが、一様ランダムなトークン置換に依存する。本稿では,意味的に認識された汚職過程を学習するフレームワークとして,変分スタックルバーグ離散拡散(VSDD)を導入する。分子・テキスト・プレイリスト生成におけるVSDDの評価を行った。
論文参考訳（メタデータ） (2026-09-28T13:38:38Z)
Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models [49.51177333039044]
我々は、dLLMロールアウトにおいて、体系的な上流/下流構造を同定する。 Informed Masking (IM) を提案する。これは、余剰推論コストゼロのデノベーション軌道から、ダウンストリームトークンへのマスクサンプリングの偏りを導出する。 LLaDA-8B-インストラクタ上で3つの最先端のdLLM RLメソッドにプラグインされると、最大2.01%、8.68%、および5.77%の相対的なゲインを数学と計画ベンチマークで提供し、トレーニング安定性を改善した。
論文参考訳（メタデータ） (2026-09-22T09:31:23Z)
Matryoshka attribution: Learning to attribute language model outputs to representations and weights [55.376094893886005]
本稿では、下流損失を最小限に抑える内部コンポーネントのネストしたサブセットを特定する問題として、フレーミング属性を提案する。マスク学習手法であるMatryoshka Attribution (MAttr)を導入する。実践的な応用として、下流行動に責任のある重み変化を特定するために、強化学習を用いてMAttrを訓練できることが示される。
論文参考訳（メタデータ） (2026-09-22T00:23:52Z)
PURGE: Projected Unlearning via Retain-Guided Erasure [5.069332646113575]
PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。 CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。 PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
論文参考訳（メタデータ） (2026-06-02T15:53:01Z)
Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文参考訳（メタデータ） (2026-06-01T21:49:54Z)
Machine Unlearning for Masked Diffusion Language Models [14.122398562530032]
仮面拡散言語モデル(MDLM)は、マスキングされた位置を平行に反復的にデノイングすることでテキストを生成する。 MDLMのための最初の非学習フレームワークであるMasked Diffusion Unlearning (MDU)を提案する。 MDUは、プロンプト条件予測からプロンプト条件付き無条件アンカーへの前方KL分岐をマスクされた応答位置毎に最小化する。
論文参考訳（メタデータ） (2026-05-18T11:54:11Z)
Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
論文参考訳（メタデータ） (2025-09-28T05:39:49Z)
DiffusionAttacker: Diffusion-Driven Prompt Manipulation for LLM Jailbreak [51.8218217407928]
大規模言語モデル (LLM) は、慎重に入力を行うと有害なコンテンツを生成する可能性がある。本稿では,拡散モデルにインスパイアされたジェイルブレイク書き換えのためのエンドツーエンド生成手法であるDiffusionAttackerを紹介する。
論文参考訳（メタデータ） (2024-12-23T12:44:54Z)
SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
論文参考訳（メタデータ） (2022-07-31T15:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。