論文の概要: See Every Block Once: Variance-Reduced Post-Training for Masked Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2611.17754v1
- Date: Fri, 13 Nov 2026 05:10:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.307114
- Title: See Every Block Once: Variance-Reduced Post-Training for Masked Diffusion Language Models
- Title(参考訳): すべてのブロックを一度に見る: マスケード拡散言語モデルのための分散生成後トレーニング
- Abstract要約: 本稿では,全ブロックを正確に1回評価し,結果を平均化する全ブロック推定器を提案する。
提案手法は,4つのベンチマークにおいて最大精度を達成し,12.79点のランダムブロックサンプリングベースラインよりも高い性能を示した。
- 参考スコア(独自算出の注目度): 7.646713951724013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Policy gradient methods are widely used to align large language model outputs with human preferences, but the log-likelihoods they require cannot be directly computed in Masked Diffusion Language Models (MDLMs). MDLM post-training therefore relies on a surrogate objective based on the Evidence Lower Bound (ELBO), and recent work estimates a blockwise variant of this objective via Monte Carlo methods to support blockwise generation. However, existing estimation schemes randomly sample the block index, so they may evaluate the same block more than once and leave some blocks unevaluated. This introduces variance arising from block selection into the estimates. In this work, we propose a full-block estimator that evaluates every block exactly once and averages the results. We theoretically show that the proposed estimator remains unbiased while eliminating the between-group variance arising from block selection, thereby achieving lower variance than the baseline for the same sample size. In experiments on five benchmarks spanning mathematics, planning, and coding, our method achieves the highest accuracy on four benchmarks and outperforms the random block sampling baseline by an average of 12.79 points.
- Abstract(参考訳): ポリシー勾配法は、大規模な言語モデルの出力を人間の好みに合わせるために広く用いられているが、それらが必要とするログライクな部分は、Masked Diffusion Language Models (MDLMs)で直接計算することはできない。
MDLMのポストトレーニングは、エビデンス・ロウアー・バウンド(ELBO)に基づくサロゲート目標に依存しており、最近の研究はブロックワイド生成をサポートするモンテカルロ法によるこの目標のブロックワイド変種を推定している。
しかし、既存の推定スキームはランダムにブロックインデックスをサンプリングするため、同じブロックを1回以上評価し、いくつかのブロックを未評価のまま残すことができる。
これは、ブロック選択から生じる分散を推定に導入する。
本研究では,各ブロックを正確に1回評価し,結果を平均化する全ブロック推定器を提案する。
提案した推定器は,ブロック選択によるグループ間分散を排除し,同じサンプルサイズに対してベースラインよりも低い分散を達成しながら,非バイアスのままであることを示す。
数学,計画,コーディングにまたがる5つのベンチマークの実験において,本手法は4つのベンチマークにおいて高い精度を達成し,12.79ポイントのランダムブロックサンプリングベースラインを上回った。
関連論文リスト
- PBPO: Prefix-Block Policy Optimization for Diffusion Language Models [52.4950380950033]
ブロックレベル条件を保存するプリフィックス・ブロックポリシー最適化(PBPO)を導入するが、各トークンに対して重み付けとクリッピングを個別に適用する。
PBPOは既存のdLLM RL法と競合する性能を発揮する。
論文 参考訳(メタデータ) (2026-11-05T10:20:41Z) - Semi-Amortized Bayesian Inference with Reusable Local Posteriors [5.315303164670769]
償却ベイズ推定は、確率が高価または分析的に利用できない場合に、確率推定を行うためにシミュレーションを使用する。
パラメータを小さなブロックに分割し,各ブロックを推測するために必要な情報を特定するために条件独立性を用いるセミアモタイズ手法を提案する。
後続更新が計算コストが高く、頻繁に繰り返されるブロックに対して、ニューラル推定器を訓練する。
論文 参考訳(メタデータ) (2026-10-13T15:01:43Z) - CollabEval: Statistically Efficient Collaborative Model Evaluation via Matrix Completion [65.53153291902454]
コラボレーティブ・アセスメント(CollabEval)は、異なるモデルの歴史的実行間の依存関係を同じタスクで活用し、統計的効率を改善するための、シンプルで効果的で原則化された方法である。
スコア行列の低ランク近似を構築し、再構成された値を用いて真の評価基準平均の偏りのない推定を保証します。
その結果,CollabEval では,平均信頼区間サイズと点推定値の平均2乗誤差を,同じアノテーション予算における基準手法と比較して大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2026-07-06T13:22:04Z) - Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。
既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。
本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
論文 参考訳(メタデータ) (2026-05-19T12:01:13Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳(メタデータ) (2025-08-27T02:49:33Z) - SCOPE: Stochastic and Counterbiased Option Placement for Evaluating Large Language Models [0.27309692684728604]
大規模言語モデル(LLM)は、選択肢の位置やラベルに固有のバイアスを生かして、複数の選択タスクの膨らませたスコアを達成できる。
本研究では,データセットに依存しない方法で選択バイアスを計測・緩和するSCOPEを提案する。
論文 参考訳(メタデータ) (2025-07-24T08:28:17Z) - Vector Copula Variational Inference and Dependent Block Posterior Approximations [5.442153262282512]
VI の鍵となるのは、ベイズ後部を近似するトラクタブル密度の選択である。
本稿では,ブロック間の依存性を同期的に捉えるためにベクトルコプラを用いた手法を提案する。
論文 参考訳(メタデータ) (2025-03-03T00:24:54Z) - Selective Inference for Latent Block Models [50.83356836818667]
本研究では,潜在ブロックモデルに対する選択的推論法を提案する。
我々は,潜在ブロックモデルの行と列クラスタのメンバシップの集合に対する統計的テストを構築した。
提案された正確で近似されたテストは、選択バイアスを考慮していない単純なテストと比較して効果的に機能する。
論文 参考訳(メタデータ) (2020-05-27T10:44:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。