論文の概要: Machine Unlearning for Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.18253v1
• Date: Mon, 18 May 2026 11:54:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.506947
• Title: Machine Unlearning for Masked Diffusion Language Models
• Title（参考訳）: マスケ拡散言語モデルのための機械学習
• Authors: Georu Lee, Seungwon Jeong, Hoki Kim, Jinseong Park, Woojin Lee,
• Abstract要約: 仮面拡散言語モデル(MDLM)は、マスキングされた位置を平行に反復的にデノイングすることでテキストを生成する。 MDLMのための最初の非学習フレームワークであるMasked Diffusion Unlearning (MDU)を提案する。 MDUは、プロンプト条件予測からプロンプト条件付き無条件アンカーへの前方KL分岐をマスクされた応答位置毎に最小化する。
• 参考スコア（独自算出の注目度）: 14.122398562530032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent masked diffusion language models (MDLMs), such as LLaDA and Dream, have achieved performance comparable to autoregressive large language models. Unlike autoregressive models, which generate text sequentially, MDLMs generate text by iteratively denoising masked positions in parallel. During fine-tuning, MDLMs learn to recover responses from masked response states conditioned on a prompt, thereby shifting their predictions from a prompt-masked unconditional distribution toward a prompt-conditional distribution. Despite this distinct generative and fine-tuning mechanism, machine unlearning for MDLMs remains largely unexplored. In this paper, we propose Masked Diffusion Unlearning (MDU), the first unlearning framework for MDLMs, by revisiting the process of learning specific knowledge in terms of diffusion. Specifically, MDU minimizes a forward KL divergence from the prompt-conditional prediction to a prompt-masked unconditional anchor at every masked response position, with a temperature scaling parameter to control the privacy-utility trade-off. Our empirical results on standard benchmarks and MDLM backbones show that MDU achieves high unlearning performance compared to existing LLM unlearning methods. Code is available at https://github.com/leegeoru/MDU.
• Abstract（参考訳）: 近年、LLaDAやDreamのようなマスク付き拡散言語モデル(MDLM)は、自己回帰的な大規模言語モデルに匹敵する性能を達成している。 テキストを逐次生成する自己回帰モデルとは異なり、MDLMはマスキング位置を並列に反復的に復調することでテキストを生成する。 微調整中、MDLMは、プロンプトに条件付けられたマスクされた応答状態からの応答を回復することを学び、プロンプトにマッチしない非条件分布からプロンプト-条件分布へ予測をシフトさせる。 この独特の生成機構と微調整機構にもかかわらず、MDLMの機械学習はほとんど探索されていない。 本稿では,MDLM のための最初の未学習フレームワークである Masked Diffusion Unlearning (MDU) を提案する。 具体的には、MDUは、プロンプト条件予測から、マスクされた応答位置毎のプロンプトマスクされた無条件アンカーへの前方KL分岐を最小化し、プライバシユーティリティトレードオフを制御するための温度スケーリングパラメータを持つ。 標準ベンチマークとMDLMバックボーンを用いた実験結果から,MDUは既存のLLMアンラーニング手法と比較して,高いアンラーニング性能が得られることが示された。 コードはhttps://github.com/leegeoru/MDU.comで入手できる。

関連論文リスト

• Don't Retrain, Align: Adapting Autoregressive LMs to Diffusion LMs via Representation Alignment [46.75006425771645]
  拡散言語モデル(DLM)は、最近、標準自己回帰(AR)モデルを補完する機能を実証した。 我々は,AR-to-DLM変換中に,次点予測によって学習した内部表現幾何を明示的に保存できるかを問う。 本稿では,事前訓練されたARモデルから表現を再利用するために,双方向マスク拡散モデルを適用する表現アライメント対象であるREPR-ALIGNを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T19:35:48Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Parallelism and Generation Order in Masked Diffusion Language Models: Limits Today, Potential Tomorrow [30.201913054064363]
  Masked Diffusion Language Modelsは並列トークン生成と任意の順序復号を約束する。 並列性強度と生成順序の2次元に沿ってMDLMの挙動を特徴付ける。 我々は、知識、推論、プログラミングにまたがる58のベンチマークで8つのメインストリームMDLMを評価した。
  論文  参考訳（メタデータ） (2026-01-22T02:39:36Z)
• PlaM: Training-Free Plateau-Guided Model Merging for Better Visual Grounding in MLLMs [59.78917775399492]
  マルチモーダル命令の微調整はパラドックス的にこのテキストの推論能力を低下させる。 この劣化を緩和するためのトレーニング不要のフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-12T15:27:51Z)
• Reproducing and Dissecting Denoising Language Models for Speech Recognition [31.91567892562116]
  音声認識(ASR)のための従来の言語モデル(LM)に代わる強力な代替手段として、DLM(Denoising Language Model)が提案されている。 本稿では,DLMの大規模独立研究について述べる。
  論文  参考訳（メタデータ） (2025-12-15T17:33:22Z)
• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• Large Language Diffusion Models [93.26422905620008]
  大規模言語モデル(LLM)は自己回帰モデル(ARM)に依存していると考えられている。 我々は,事前学習および教師付き微調整パラダイムの下で,ゼロから学習した拡散モデルであるLLaDAを紹介する。 一般的なタスクや数学、コードなどに関する広範なベンチマークを通じて、LLaDAは強力なスケーラビリティを示し、自己構築されたARMベースラインと互換性のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-02-14T08:23:51Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。