論文の概要: Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2509.23653v1
• Date: Sun, 28 Sep 2025 05:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.352503
• Title: Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models
• Title（参考訳）: あまり早く落ち着かない:拡散言語モデルのための自己回帰リマキング
• Authors: Zemin Huang, Yuhang Wang, Zhiyang Chen, Guo-Jun Qi,
• Abstract要約: RemeDiはマスクベースのDLMで、トークンの分布と各ステップにおけるトークン毎の信頼スコアを予測する。 モデルに不正トークンを検出して再マスクする教師付き微調整を含む、この能力をトレーニングするために、リマスク対応パイプラインをトレーニングします。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。
• 参考スコア（独自算出の注目度）: 40.902681492117786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mask-based Diffusion Language Models (DLMs) struggle to revise incorrect tokens: once a token is generated, it typically remains fixed. The key challenge is to identify potential errors in the inputs. In this paper, we propose \emph{\underline{Rem}asking-\underline{e}nabled \underline{Di}ffusion Language Model (RemeDi}, a mask-based DLM that introduces \emph{remasking} as another fundamental mechanism, enabling more flexible text refinement in diffusion-based text generation. To achieve this, RemeDi jointly predicts token distributions and per-token confidence scores at each step. The confidence scores determine which tokens to be unmasked after the current step, allowing the model to identify tokens with low quality and remask them. These remasked tokens can be resampled with richer context in subsequent steps. We design a remask-aware pipeline to train this ability, including supervised fine-tuning which teaches the model to detect and remask incorrect tokens in addition to predict mask tokens, and reinforcement learning which optimizes full generation trajectories toward higher rewards. Experiments show that RemeDi achieves the state-of-the-art results among open-source DLMs on multiple datasets.
• Abstract（参考訳）: マスクベースの拡散言語モデル(DLM)は、不正なトークンの修正に苦労する。 重要な課題は、入力の潜在的なエラーを特定することだ。 本稿では,拡散ベースのテキスト生成において,よりフレキシブルなテキスト改善を実現するマスクベースのDLMである,emph{\underline{Rem}asking-\underline{e}nabled \underline{Di}ffusion Language Model (RemeDi})を提案する。 これを達成するため、RemeDiは各ステップでトークン分布とトークン毎の信頼スコアを共同で予測する。 信頼スコアは、現在のステップ後にどのトークンをアンマスクするかを決定し、モデルが低い品質のトークンを識別し、再マスクすることを可能にする。 これらのリメイクトークンは、その後のステップでよりリッチなコンテキストで再サンプリングすることができる。 マスクトークンの予測に加えて,不正トークンの検出と再マスクをモデルに教える教師付き微調整や,より高い報酬に向けて全世代の軌道を最適化する強化学習など,この能力をトレーニングするためのリマスク対応パイプラインを設計する。 実験により、RemeDiは複数のデータセット上のオープンソースのDLMの最先端の結果を達成することが示された。

関連論文リスト

• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Sampling from Your Language Model One Byte at a Time [82.71473348639489]
  トークン化は、PBP(Prompt Boundary Problem)として知られるモデル世代に歪みをもたらす可能性がある。 BPEトークン化器を用いて任意のオートレ LM を文字レベルまたはバイトレベル LM に変換する推論時間法を提案する。 提案手法は, PBPを効率的に解き, 異なるトークン化器で言語モデルの語彙を統一することができる。
  論文  参考訳（メタデータ） (2025-06-17T02:37:04Z)
• Insertion Language Models: Sequence Generation with Arbitrary-Position Insertions [32.48588058887852]
  挿入言語モデル(ILM)は、任意の位置にトークンを挿入することを学ぶ。 ILMはトークン間の強い依存関係を表現することができ、任意の順序でシーケンスを生成する能力により、正確にシーケンスをモデル化することができる。
  論文  参考訳（メタデータ） (2025-05-09T03:29:15Z)
• Task-Informed Anti-Curriculum by Masking Improves Downstream Performance on Text [27.320746607958142]
  本稿では,新しいタスク情報を用いた反カリキュラム学習手法に基づいて,マスキング率を調整し,マスクするトークンを決定することを提案する。 我々は,3つの下流タスクにまたがるマスキング手法により,新しいタスクインフォームドアンチカリキュラムを実証する。
  論文  参考訳（メタデータ） (2025-02-18T15:36:16Z)
• MDTv2: Masked Diffusion Transformer is a Strong Image Synthesizer [158.06850125920923]
  拡散確率モデル(DPM)は、画像内の対象部分間の関係を学習する文脈推論能力に欠けることが多い。 画像中のオブジェクトの意味部分間の文脈的関係学習能力を高めるマスク潜在モデリング手法を提案する。 実験の結果、MDTv2は画像合成性能に優れており、例えば、新しいSOTA FIDスコアはImageNetデータセットで1.58であり、従来のSOTA DiTよりも10倍以上高速であることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T07:47:21Z)
• AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders [44.87786478095987]
  Masked Autoencodersは、画像、テキスト、オーディオ、ビデオなどの一般的な表現を、可視データのトークンからマスクされた入力データによって学習する。 本稿では,エンド・ツー・エンドのトレーニングが可能なMAEに対する適応型マスキング戦略を提案する。 AdaMAEは補助サンプリングネットワークを用いて意味的コンテキストに基づいて可視トークンをサンプリングする。
  論文  参考訳（メタデータ） (2022-11-16T18:59:48Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Unsupervised Text Style Transfer with Padded Masked Language Models [25.397832729384064]
  Maskerは、スタイル転送のための教師なしのテキスト編集方法である。 完全に教師なしの設定で競争力を発揮する。 低リソース環境では、教師ありメソッドの精度を10%以上向上させる。
  論文  参考訳（メタデータ） (2020-10-02T15:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。