論文の概要: Fine-Tuning Masked Diffusion for Provable Self-Correction

• arxiv url: http://arxiv.org/abs/2510.01384v1
• Date: Wed, 01 Oct 2025 19:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.836559
• Title: Fine-Tuning Masked Diffusion for Provable Self-Correction
• Title（参考訳）: 予測自己補正のための微調整マスク付き拡散
• Authors: Jaeyeon Kim, Seunggeun Kim, Taekyun Lee, David Z. Pan, Hyeji Kim, Sham Kakade, Sitan Chen,
• Abstract要約: Masked Diffusion Models (MDMs) は離散空間における生成モデリングのための有望なアプローチとして登場した。 PRISM-Plug-in Remasking for Inference-time Self-correction of Masked Diffusions。
• 参考スコア（独自算出の注目度）: 28.338622227684453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A natural desideratum for generative models is self-correction--detecting and revising low-quality tokens at inference. While Masked Diffusion Models (MDMs) have emerged as a promising approach for generative modeling in discrete spaces, their capacity for self-correction remains poorly understood. Prior attempts to incorporate self-correction into MDMs either require overhauling MDM architectures/training or rely on imprecise proxies for token quality, limiting their applicability. Motivated by this, we introduce PRISM--Plug-in Remasking for Inference-time Self-correction of Masked Diffusions--a lightweight, model-agnostic approach that applies to any pretrained MDM. Theoretically, PRISM defines a self-correction loss that provably learns per-token quality scores, without RL or a verifier. These quality scores are computed in the same forward pass with MDM and used to detect low-quality tokens. Empirically, PRISM advances MDM inference across domains and scales: Sudoku; unconditional text (170M); and code with LLaDA (8B).
• Abstract（参考訳）: 生成モデルの自然なデサイドラタムは、推論時に低品質のトークンを検出・修正する自己補正である。 Masked Diffusion Models (MDMs) は離散空間における生成的モデリングの有望なアプローチとして登場したが、自己補正の能力はいまだによく分かっていない。 自己補正をMDMに組み込もうとする以前の試みでは、MDMアーキテクチャやトレーニングの見直しが必要であったり、トークンの品質のために不正確なプロキシに依存していたり、適用性に制限があったりしていた。 このことから,マスク付き拡散の推論時間自己補正のためのPRISM-Plug-in Remaskingを導入する。 理論的には、PRISM は RL や検証子を使わずに、トーケンごとの品質スコアを確実に学習する自己補正損失を定義する。 これらの品質スコアはMDMと同じフォワードパスで計算され、低品質トークンを検出するために使用される。 PRISMは、Sudoku、unconditional text (170M)、LLaDA (8B)といったドメインやスケールにわたるMDM推論を実証的に進めている。

関連論文リスト

• Enabling Autoregressive Models to Fill In Masked Tokens [50.9948753314669]
  MARIA(Masked and Autoregressive Infilling Architecture)は、最先端のマスキング・インフィル・パフォーマンスを実現する新しいアプローチである。 MARIAは、トレーニング済みとARモデルを組み合わせて、隠れた状態を入力として取り込む線形デコーダをトレーニングする。 以上の結果から,MARIAはマスク入力タスクにおいて既存の手法,すなわち離散拡散モデルよりも有意に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-09T20:02:05Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。