論文の概要: Masked Language Flow Models

• arxiv url: http://arxiv.org/abs/2606.27617v1
• Date: Fri, 26 Jun 2026 00:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.329864
• Title: Masked Language Flow Models
• Title（参考訳）: マスケ言語フローモデル
• Abstract要約: フロー言語モデル(FLM)は、ノイズをクリーンなシーケンスへ輸送する連続的な流れを学習することで、この制限を横切る。 本研究では,マスキングをFLMに組み込んだMLFM(Masked Language Flow Models)を導入する。 フローベースの言語モデルがダウンストリーム推論や命令追従タスクを解決するために,初めてスケールできることが分かりました。
• 参考スコア（独自算出の注目度）: 10.204151640924454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Models (MDMs) promise fast, parallel language generation, but their reverse transition factorises across token positions -- an approximation that breaks down in the few-step sampling regime where parallel generation ought to provide the greatest efficiency gains. Flow Language Models (FLMs) sidestep this limitation by learning a continuous flow that transports noise toward clean sequences represented in Euclidean space, inducing a flow map that can be distilled for single-step generation. However, this makes complex tasks requiring multi-step reasoning problematic for FLMs, as FLMs are forced to decode every token during generation. To address this, we introduce Masked Language Flow Models (MLFMs), which incorporate masking into FLMs using a continuous stochastic interpolant to bridge partially masked and clean sequences. This design enables conditional generation via continuous flows and allows pretrained MDMs to be converted into MLFMs through a simple, lightweight adaptation. Leveraging this flexibility, we propose a novel sampler that alternates continuous denoising with the discrete unmasking of confident tokens to better support multi-step reasoning. We evaluate our approach on GSM8K and MT-Bench and find, for the first time, that flow-based language models can be scaled to solve downstream reasoning and instruction-following tasks.
• Abstract（参考訳）: Masked Diffusion Models (MDM) は高速で並列な言語生成を約束するが、その逆の遷移はトークンの位置をまたいで分解する。 フロー言語モデル(FLM)は、ユークリッド空間で表現されたクリーンなシーケンスへノイズを輸送する連続フローを学習し、単一ステップ生成のために蒸留できるフローマップを誘導することで、この制限を脇に進める。 しかし、FLMは生成時に全てのトークンをデコードせざるを得ないため、複雑なタスクではFLMの多段階推論が問題となる。 そこで我々は,マスキングを連続的確率補間器を用いてFLMに組み込んで部分的にマスキングとクリーンシーケンスをブリッジするMasked Language Flow Models (MLFMs)を提案する。 この設計により、連続フローによる条件生成が可能となり、単純で軽量な適応により、事前訓練されたMDMをMLFMに変換することができる。 この柔軟性を生かして、マルチステップ推論のより良いサポートのために、自信あるトークンを個別に解き放つことで、連続的な復調を交互に行う新しいサンプリング手法を提案する。 GSM8K と MT-Bench に対する我々のアプローチを評価し,フローベース言語モデルがダウンストリーム推論および命令追従タスクを解くために拡張可能であることを発見した。

関連論文リスト

• Rethinking the Generation Order of Block Diffusion Language Models [4.187801730089504]
  拡散言語モデルはフレキシブルな任意の順序生成を可能にするが、既存のサンプリング手法は主に初期のマスク付き拡散モデル(MDM)のために設計されている。 パラレル自動回帰復号法 (PARD) は, トークンの並列化を許容しつつ, 左から右へのアンマスク構造を保存する単純な訓練不要サンプリング法である。
  論文  参考訳（メタデータ） (2026-07-27T11:49:50Z)
• Posterior Refinement: Fast Language Generation via Any-Order Flow Maps [36.18484491074518]
  フローマップ言語モデル(FMLM)は、優れた数ステップ生成のためにジョイントシーケンストランスポートによってこのボトルネックを回避する。 本稿では,このギャップを埋めるフレームワークであるFMLM+を紹介する。 我々はこれを活用して、モデルが出力を適応的に自己修正できる新しい推論時間改善戦略であるPosterior Refinementを導入する。
  論文  参考訳（メタデータ） (2026-06-23T16:33:13Z)
• SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
  拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。 彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。 我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。 提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
  論文  参考訳（メタデータ） (2026-06-01T17:46:46Z)
• DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
  そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。 DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-03-09T07:02:01Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [60.407727995313074]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning [59.88924847995279]
  MTSFのためのクロスモーダルLCMファインチューニング(CALF)フレームワークを提案する。 分散の相違を低減するため,クロスモーダルマッチングモジュールを開発した。 CALFは、長期および短期の予測タスクの最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-03-12T04:04:38Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。