論文の概要: Where-to-Unmask: Ground-Truth-Guided Unmasking Order Learning for Masked Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.09501v1
• Date: Tue, 10 Feb 2026 07:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.435187
• Title: Where-to-Unmask: Ground-Truth-Guided Unmasking Order Learning for Masked Diffusion Language Models
• Title（参考訳）: where-to-Unmask:masked Diffusion Language Modelのための地道指導型アンマスキー次数学習
• Authors: Hikaru Asano, Tadashi Kozuno, Kuniaki Saito, Yukino Baba,
• Abstract要約: Masked Diffusion Language Modelsは、マスク付きトークンを反復的に充填することでテキストを生成する。 Gt-Marginは、部分的にマスキングされた各状態の下で、より簡単な位置を優先するオラクルアンマスキング順序を与える。 マスク付きコンテキストからオーラクルの注文を模倣するために,教師付きアンマスキングプランナーを学習 to ランクで訓練する。
• 参考スコア（独自算出の注目度）: 17.18632315520133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Language Models (MDLMs) generate text by iteratively filling masked tokens, requiring two coupled decisions at each step: which positions to unmask (where-to-unmask) and which tokens to place (what-to-unmask). While standard MDLM training directly optimizes token prediction (what-to-unmask), inference-time unmasking orders (where-to-unmask) are typically determined by heuristic confidence measures or trained through reinforcement learning with costly on-policy rollouts. To address this, we introduce Gt-Margin, a position-wise score derived from ground-truth tokens, defined as the probability margin between the correct token and its strongest alternative. Gt-Margin yields an oracle unmasking order that prioritizes easier positions first under each partially masked state. We demonstrate that leveraging this oracle unmasking order significantly enhances final generation quality, particularly on logical reasoning benchmarks. Building on this insight, we train a supervised unmasking planner via learning-to-rank to imitate the oracle ordering from masked contexts. The resulting planner integrates into standard MDLM sampling to select where-to-unmask, improving reasoning accuracy without modifying the token prediction model.
• Abstract（参考訳）: Masked Diffusion Language Models (MDLM) は、マスクされたトークンを反復的に埋めてテキストを生成し、各ステップで2つの組み合わせた決定を必要とする。 標準的なMDLMトレーニングはトークン予測(何をアンマスクするか)を直接最適化するが、推論時アンマスク命令(どこでアンマスクするか)は通常、ヒューリスティックな信頼度測定によって決定される。 これを解決するために,Gt-Marginを導入する。Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin,Gt-Margin, Gt-Margin。 Gt-Marginは、部分的にマスキングされた各状態の下で、より簡単な位置を優先するオラクルアンマスキング順序を与える。 このオラクル・アンマキング・オーダーの活用は、特に論理的推論ベンチマークにおいて、最終生成品質を大幅に向上させることを示した。 この知見に基づいて、我々は、マスク付きコンテキストからの託宣命令を模倣するために、教師なしのプランナーを学習して訓練する。 得られたプランナーは標準MDLMサンプリングに統合され、トークン予測モデルを変更することなく推論精度を向上させる。

関連論文リスト

• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• Lookahead Unmasking Elicits Accurate Decoding in Diffusion Language Models [51.12873073612084]
  Masked Diffusion Models (MDM) は、反復的にトークンをアンマキングすることで生成される言語モデルであるが、その性能はアンマキングの推測時間順序に依存する。 提案するLookUM(LookUM)は,これらの問題に対処し,サンプリングを可能な全注文に対して経路選択として再構成する。 LookUMはピーク性能を達成するために2～3つの経路しか必要とせず、極めて効率的な経路選択を示す。
  論文  参考訳（メタデータ） (2025-11-04T02:37:37Z)
• Soft-Masked Diffusion Language Models [35.191030145577145]
  マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。 SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。 最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
  論文  参考訳（メタデータ） (2025-10-20T06:42:03Z)
• Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models [40.902681492117786]
  RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
  論文  参考訳（メタデータ） (2025-09-28T05:39:49Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• MaskInversion: Localized Embeddings via Optimization of Explainability Maps [49.50785637749757]
  MaskInversionは、テスト時にマスクによって指定されたクエリ画像領域に対するコンテキスト認識の埋め込みを生成する。 オープン語彙のクラス検索、表現理解の参照、局所的なキャプションや画像生成など、幅広いタスクに使用することができる。
  論文  参考訳（メタデータ） (2024-07-29T14:21:07Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• InforMask: Unsupervised Informative Masking for Language Model Pretraining [13.177839395411858]
  マスク付き言語モデルのトレーニングのための新しい教師なしマスキング戦略を提案する。 InforMaskはポイントワイド・ミューチュアル・インフォメーション(PMI)を利用して、マスクする最も情報性の高いトークンを選択する。
  論文  参考訳（メタデータ） (2022-10-21T07:10:56Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。