論文の概要: Multi-Turn Reflective Masking Elicits Reasoning in Mask Diffusion Models

• arxiv url: http://arxiv.org/abs/2606.16700v1
• Date: Mon, 15 Jun 2026 13:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.579071
• Title: Multi-Turn Reflective Masking Elicits Reasoning in Mask Diffusion Models
• Title（参考訳）: マスク拡散モデルにおけるマルチターン反射型マスキングの共振
• Authors: Yanming Zhang, Yihan Bian, Jingyuan Qi, Yuguang Yao, Lifu Huang, Tianyi Zhou,
• Abstract要約: Mask Diffusion Models (MDMs) は、自然に以前の出力に対する明示的なローカル編集をサポートする。 本稿では,MDMにおける内在的推論能力を軽量なポストトレーニングにより引き起こすリフレクティブ・マスキング(RM)を提案する。
• 参考スコア（独自算出の注目度）: 40.620031617929406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While reasoning on autoregressive (AR) models is often performed by chain-of-thought reasoning and reflection, their refinement of previous outputs still relies on fully sequential generation, even when only local edits are needed. In contrast, the masking mechanism in Mask Diffusion Models (MDMs) naturally supports explicit local edits on previous outputs, allowing selective refinement without discarding previous answers and generating another from scratch. While this property more closely aligns with how humans correct mistakes by iterative local refinement, existing MDMs do not support multi-turn masking and denoising. We propose Reflective Masking (RM), which elicits such an intrinsic reasoning capability in MDMs via lightweight post-training. RM provides a native test-time scaling, where an MDM iteratively revisits and revises its prior outputs based on evolving context. To exploit insights from previous turns like AR reasoning, we further introduce History Reference, a parameter-free mechanism that leverages intermediate denoising states during revision. Our approach requires no architectural changes and is easily applicable to existing MDMs. Across diverse tasks and modalities, including text generation, Sudoku, and image editing, Reflective Masking consistently outperforms standard masking-based baselines and demonstrates strong generality, positioning RM as a fundamental primitive for reasoning on MDMs.
• Abstract（参考訳）: 自己回帰的(AR)モデルに基づく推論は、しばしばチェーン・オブ・思想的推論とリフレクションによって実行されるが、以前の出力の洗練は、たとえローカル編集が必要な場合でも、完全なシーケンシャルな生成に依存している。 対照的に、マスク拡散モデル(MDM)のマスキング機構は、自然に以前の出力に対する明示的な局所的な編集をサポートし、前の回答を破棄したり、別の回答をスクラッチから生成したりすることなく、選択的に洗練することができる。 この特性は、反復的な局所的な改善によって人間がミスを正す方法とより密接に一致しているが、既存のMDMはマルチターンマスキングやデノーミングをサポートしない。 本稿では,MDMにおけるそのような本質的な推論能力を,軽量なポストトレーニングによって引き起こすリフレクティブ・マスキング(RM)を提案する。 RMはネイティブなテストタイムスケーリングを提供し、MDMは進化するコンテキストに基づいて事前の出力を反復的に修正し、修正する。 AR推論のような以前のターンからの洞察を活用するために、リビジョン中に中間偏極状態を活用するパラメータフリーメカニズムであるHistory Referenceを導入する。 私たちのアプローチではアーキテクチャの変更は不要で、既存のMDMにも容易に適用できます。 テキスト生成、スドゥーク、画像編集を含む様々なタスクやモダリティにおいて、リフレクティブ・マスキングは標準的なマスキングベースのベースラインを一貫して上回り、強力な一般化を示し、RMをMDMの推論の基本的なプリミティブとして位置づけている。

関連論文リスト

• Infinite Mask Diffusion for Few-Step Distillation [16.340935269530842]
  Masked Diffusion Models (MDM) は、言語モデリングにおける自己回帰モデルに代わる有望な代替品として登場した。 MDMの利点を継承しながら理論的境界を緩和するための無限マスク拡散モデル(IMDM)を提案する。 IMDM は LM1B と OpenWebText の小さなステップ数で既存の数ステップの蒸留法を超越している。
  論文  参考訳（メタデータ） (2026-05-11T13:07:03Z)
• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• Unifying Masked Diffusion Models with Various Generation Orders and Beyond [56.70289720766803]
  仮面拡散モデル(MDM)は、言語生成のための自己回帰モデル(ARM)の潜在的な代替品である。 広範な拡散生成過程のための秩序表現型マスク拡散モデル(OeMDM)を提案する。 生成順序と拡散バックボーンを共同で学習する学習順マスク拡散モデル(LoMDM)を導入する。
  論文  参考訳（メタデータ） (2026-02-02T13:54:32Z)
• MDiff4STR: Mask Diffusion Model for Scene Text Recognition [59.79818820650126]
  Mask Diffusion Models (MDM) は、視覚言語タスクのための自動回帰モデル (ARM) に代わる有望な代替品として登場した。 我々は,認識効率は向上するが,バニラMDMがARMに遅れていることを示す。 シーンテキスト認識に適した2つの重要な改善戦略を備えたマスク拡散モデルMDiff4STRを提案する。
  論文  参考訳（メタデータ） (2025-12-01T08:57:51Z)
• Masks Can Be Distracting: On Context Comprehension in Diffusion Language Models [19.847438086389616]
  Masked Diffusion Language Modelsは、Autoregressive Language Modelsに代わる有望な選択肢として登場した。 本研究は,MDLMの局所性バイアスが強いことを示す。 本稿では,マスク数に不変な予測を推奨するマスク非依存損失関数を提案する。
  論文  参考訳（メタデータ） (2025-11-26T12:44:29Z)
• Fine-Tuning Masked Diffusion for Provable Self-Correction [28.338622227684453]
  Masked Diffusion Models (MDMs) は離散空間における生成モデリングのための有望なアプローチとして登場した。 PRISM-Plug-in Remasking for Inference-time Self-correction of Masked Diffusions。
  論文  参考訳（メタデータ） (2025-10-01T19:15:25Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。