Fugu-MT 論文翻訳(概要): Masked Diffusion Decoding as $x$-Prediction Flow

論文の概要: Masked Diffusion Decoding as $x$-Prediction Flow

arxiv url: http://arxiv.org/abs/2606.29066v1
Date: Sat, 27 Jun 2026 19:51:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.77618
Title: Masked Diffusion Decoding as $x$-Prediction Flow
Title（参考訳）: $x$-Prediction Flowとしてのマスク付き拡散復号法
Abstract要約: マスク付き拡散言語モデルは、反復的にトークンをアンマスキングすることでテキストを生成するが、それらの標準デコーダは各ステップをバイナリアクションに還元する。本稿では,マスク予測をクリーンステート予測(x$-prediction)として再解釈し,入力埋め込み空間の連続フローを誘導できることを示す。本稿では,各拡散ステップでトークンが部分的な進行を蓄積し,変更可能なMDLMのための連続復号化フレームワークを提案する。
参考スコア（独自算出の注目度）: 6.887862334460162
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Masked diffusion language models (MDLMs) generate text by iteratively unmasking tokens, but their standard decoder reduces each step to a binary action: a position is either committed to a single token or left fully masked, with no representation of partial belief in between. This all-or-nothing regime discards rich predictive information and forces premature, irrevocable commitments, leading to poor performance under a limited decoding budget. In this paper, we reinterpret mask prediction as clean-state prediction ($x$-prediction) and show that it can be used to induce a continuous flow in input embedding space. Building on this view, we propose a continuous decoding framework for MDLMs where tokens can accumulate partial progress at each diffusion step and remain revisable. To match the uneven contextual constraints across positions in language, we replace the globally synchronous schedule in image diffusion with a confidence-based asynchronous update in which the diffusion progress is token-wise accumulated. Additionally, we introduce a lightweight policy network and formulate its training as a reinforcement learning problem. Applied to pretrained LLaDA, our continuous decoder reaches 97% of its performance on the HumanEval dataset with 25% of decoding budget.
Abstract（参考訳）: 仮面拡散言語モデル(MDLM)は、反復的にトークンをアンマスキングすることでテキストを生成するが、それらの標準デコーダは各ステップをバイナリアクションに還元する。このオール・オア・ナッシングの体制は、豊富な予測情報を破棄し、早期かつ不可解なコミットメントを強制し、限られた復号予算の下ではパフォーマンスが低下する。本稿では,マスク予測をクリーンステート予測(x$-prediction)と解釈し,入力埋め込み空間において連続的な流れを誘導できることを示す。この観点からMDLMの連続復号化フレームワークを提案し,各拡散ステップでトークンが部分的な進捗を蓄積し,変更可能な状態に維持する。言語の位置間の不均一な文脈制約に合わせるため、画像拡散のグローバル同期スケジュールを、拡散進行がトークン的に蓄積される信頼に基づく非同期更新に置き換える。さらに、軽量なポリシーネットワークを導入し、強化学習問題としてトレーニングを定式化する。事前トレーニングされたLLaDAに対して、当社の継続的デコーダは、HumanEvalデータセット上でのパフォーマンスの97%に達し、デコード予算の25%を達成しています。

関連論文リスト

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文参考訳（メタデータ） (2026-08-03T17:59:50Z)
Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
論文参考訳（メタデータ） (2026-06-02T21:35:54Z)
SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文参考訳（メタデータ） (2026-06-01T17:46:46Z)
How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
論文参考訳（メタデータ） (2026-05-08T16:05:19Z)
CRoCoDiL: Continuous and Robust Conditioned Diffusion for Language [21.764828393078886]
Masked Diffusion Models (MDMs) は自己回帰生成の効率的な非因果的代替手段を提供する。拡散過程を連続的な文レベルの意味空間にシフトすることで、これらの制限に対処する。
論文参考訳（メタデータ） (2026-03-02T12:50:55Z)
Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference [58.189320101488725]
DLLMは高速な非自己回帰推論を約束するが、並列デコーディングにおいて厳しい品質と速度のトレードオフを被る。我々は、連続表現を離散デコードプロセスに統合することでこの問題に対処する。本稿では,初期マスキング状態と最終復号化トークン状態の中間として,新しい連続混合状態を導入するフレームワークであるReMixを提案する。
論文参考訳（メタデータ） (2026-02-26T11:08:11Z)
Window-Diffusion: Accelerating Diffusion Language Model Inference with Windowed Token Pruning and Caching [10.315266731366123]
推論のためのウィンドウベースのトークンプルーニングとキャッシュ手法を提案する。 LLaDAとDreamの実験では、一致した計算予算の下では、提案手法は最大99タイムの推論高速化を実現する。
論文参考訳（メタデータ） (2026-01-28T07:49:20Z)
From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models [19.97248408121574]
Diffusion Language Models (DLMs) は並列デコードにより高速な推論速度で同等の精度を提供する。高信頼トークンは無視可能な情報を持ち、それらに厳密に依存することで、各デコードラウンドにおける効果的な進捗を制限する。本研究では,情報スループットと復号効率を最大化する学習自由復号法であるExplore-Then-Exploit (ETE)を提案する。
論文参考訳（メタデータ） (2025-11-26T06:38:37Z)
Soft-Masked Diffusion Language Models [35.191030145577145]
マスクトークンの埋め込みと,上位k$の予測トークンの埋め込みを動的にブレンドする新しい手法であるソフトマスキング(SM)を導入する。 SMを用いた169Mパラメータモデルの事前学習を継続すると、パープレキシティとMAUVEスコアが向上することを示した。最新の拡散モデルDream-7BとDream-Coder-7BをSMで微調整する。
論文参考訳（メタデータ） (2025-10-20T06:42:03Z)
Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文参考訳（メタデータ） (2025-10-01T18:00:56Z)
Discrete Diffusion VLA: Bringing Discrete Diffusion to Action Decoding in Vision-Language-Action Policies [62.653984010274485]
VLA(Vision-Language-Action)モデルは、画像や命令をロボットアクションにマッピングするために、大きな視覚言語バックボーンを適応させる。 prevailingAsは、固定された左から右への順序で自動回帰的にアクションを生成するか、バックボーンの外側で分離または拡散ヘッドをアタッチする。本稿では離散拡散を伴う離散化作用チャンクをモデル化する統一変換器ポリシである離散拡散VLAを提案する。
論文参考訳（メタデータ） (2025-08-27T17:39:11Z)
FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
論文参考訳（メタデータ） (2024-10-27T15:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。