論文の概要: Posterior Refinement: Fast Language Generation via Any-Order Flow Maps

• arxiv url: http://arxiv.org/abs/2606.24773v1
• Date: Tue, 23 Jun 2026 16:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.07341
• Title: Posterior Refinement: Fast Language Generation via Any-Order Flow Maps
• Title（参考訳）: Posterior Refinement: 任意の階数フローマップによる高速言語生成
• Authors: Manan Agarwal, Sheel Shah, Chanhyuk Lee, Jaehoon Yoo, Jerry Huang, Seunghoon Hong, Aditi Raghunathan, Jinwoo Kim, Nicholas M. Boffi,
• Abstract要約: フローマップ言語モデル(FMLM)は、優れた数ステップ生成のためにジョイントシーケンストランスポートによってこのボトルネックを回避する。 本稿では,このギャップを埋めるフレームワークであるFMLM+を紹介する。 我々はこれを活用して、モデルが出力を適応的に自己修正できる新しい推論時間改善戦略であるPosterior Refinementを導入する。
• 参考スコア（独自算出の注目度）: 36.18484491074518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-autoregressive generation offers a powerful paradigm for iterative refinement, allowing models to recursively critique, erase and regenerate arbitrary subsets of tokens. However, existing non-autoregressive models fail to realize this potential. Masked Diffusion Models (MDMs) suffer from factorization error, causing sample quality to collapse when generating multiple tokens simultaneously. Flow Map Language Models (FMLMs) circumvent this bottleneck via joint sequence transport for excellent few-step generation, but sacrifice the inference-time flexibility of MDMs. We introduce FMLM+, a framework that bridges this gap by equipping FMLM with masking-style noise schedules. While generating the full sequence in a single step, FMLM+ simultaneously scores the global consistency of each token a posteriori. We leverage this to introduce Posterior Refinement, a novel inference-time refinement strategy that enables the model to adaptively self-correct its outputs, matching the performance of discrete baselines with 32x fewer NFEs. Across diverse benchmarks, we demonstrate that FMLM+ with Posterior Refinement improves the speed--quality tradeoff over both MDM and FMLM families, providing a scalable foundation for high-fidelity language modeling.
• Abstract（参考訳）: 非自己回帰生成は反復的洗練のための強力なパラダイムを提供し、モデルがトークンの任意の部分集合を再帰的に批判し、消去し、再生することができる。 しかし、既存の非自己回帰モデルは、この可能性を実現することができない。 Masked Diffusion Models (MDM) は分解誤差に悩まされ、複数のトークンを同時に生成する際にサンプルの品質が崩壊する。 フローマップ言語モデル(FMLM)は、このボトルネックを、数ステップの優れた生成のためにジョイントシーケンストランスポートによって回避するが、MDMの推論時の柔軟性を犠牲にする。 本稿では,このギャップを埋めるフレームワークであるFMLM+を紹介する。 FMLM+は、単一のステップで全シーケンスを生成すると同時に、各トークンのグローバルな一貫性を後方にスコアする。 我々はこれを活用して、新しい推論時間改善戦略であるPosterior Refinementを導入し、モデルがその出力を適応的に自己修正し、離散ベースラインの性能を32倍のNFEで一致させる。 様々なベンチマークにおいて, FMLM+ と Posterior Refinement を併用することで, MDM と FMLM の両ファミリ間の高速なトレードオフが向上し, 高忠実度言語モデリングのスケーラブルな基盤を提供することを示す。

関連論文リスト

• On the Trainability of Masked Diffusion Language Models via Blockwise Locality [58.92209096047332]
  マスク付き拡散言語モデル (MDMs) は、最近、標準自己回帰型大言語モデル (AR-LLMs) に代わる有望な代替品として登場した。 ブロックワイズMDMを解析し,AR-LLMと比較し,構造生成の異なる側面を強調する3つの制御タスクについて検討した。 標準ランダムマスキングMDMは線形回帰を確実に学習できず、グラフパスフィニングにおいて高分散トレーニングダイナミクスを示し、スドクではAR-LLMよりも優れていた。
  論文  参考訳（メタデータ） (2026-04-27T17:44:26Z)
• Discrete Stochastic Localization for Non-autoregressive Generation [17.56505846228918]
  エンハンチングだけでMDLM/ReMDMサンプリングのステップ効率を大幅に改善できることを示す。 OpenWebTextでは、textsc fine-tuningはMDLM+ReMDMを上回り、低ステップの予算でMAUVEが大きな利益を得る。 分析の結果、自己補正と不確実性の校正が改善され、リマキングは計算効率が著しく向上した。
  論文  参考訳（メタデータ） (2026-02-18T04:05:40Z)
• Learn from Your Mistakes: Self-Correcting Masked Diffusion Models [31.536464269884103]
  マスク付き拡散モデル(MDM)は自己回帰モデルに代わる有望な代替品として登場している。 本研究では、モデルにアンマキングと修正の両方を行うよう訓練するフレームワークを提案する。 トレーニングとサンプリングの手法をProSeCo(Progressive Self-Correction)と名付けました。
  論文  参考訳（メタデータ） (2026-02-12T05:17:31Z)
• Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models [6.4453302264198165]
  拡散フレームワークとモデルスケジューリングの柔軟性を利用して、より小さなMDLMがデノナイジングステップのサブセットでフルモデルを置き換える。 その結果,早期・後期段階は中段よりもかなり頑健であり,FLOPは最大17%減少することがわかった。 提案手法は, MDLMサンプリングを著しく高速化し, 生成品質を保ちながら, 簡易かつアーキテクチャに依存しないスケジューリング規則を適用できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-04T13:04:58Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Co-GRPO: Co-Optimized Group Relative Policy Optimization for Masked Diffusion Model [74.99242687133408]
  Masked Diffusion Models (MDMs) は、視覚、言語、モーダル・ジェネレーションにまたがる有望な可能性を示している。 本稿では,MDM生成をMDP(Markov Decision Process)として再構成し,モデルと推論スケジュールを併用するCo-GRPOを提案する。
  論文  参考訳（メタデータ） (2025-12-25T12:06:04Z)
• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• Any-Order Flexible Length Masked Diffusion [53.89217188409148]
  マスク付き拡散モデル(MDMs)は、最近、離散領域上の自己回帰モデルに代わる有望な代替として登場した。 本稿では,フレキシブルマスク付き拡散モデル (FlexMDM) を紹介する。 我々は,FlexMDMがMDMと複雑度を一致させながら,より忠実度の高い長さ統計をモデル化することを示した。
  論文  参考訳（メタデータ） (2025-08-31T23:34:53Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。