論文の概要: PBPO: Prefix-Block Policy Optimization for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2611.07783v1
• Date: Thu, 05 Nov 2026 10:20:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.656415
• Title: PBPO: Prefix-Block Policy Optimization for Diffusion Language Models
• Title（参考訳）: PBPO:拡散言語モデルのためのプレフィックスブロックポリシー最適化
• Abstract要約: ブロックレベル条件を保存するプリフィックス・ブロックポリシー最適化(PBPO)を導入するが、各トークンに対して重み付けとクリッピングを個別に適用する。 PBPOは既存のdLLM RL法と競合する性能を発揮する。
• 参考スコア（独自算出の注目度）: 52.4950380950033
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion Large Language Models (dLLMs) commonly decode responses by proceeding autoregressively across blocks while iteratively denoising multiple tokens within each block. This structure makes block-level policy optimization a natural adaptation of autoregressive policy optimization. However, the exact likelihood of a completed block is intractable because it marginalizes over the intermediate states and reveal orders of the denoising process. To realize the block-level formulation, we construct a prefix-block state and use a single model evaluation to define a factorized one-step surrogate for the block likelihood. The resulting block surrogate ratio is a product of its token surrogate ratios, allowing variation at individual positions to propagate across the entire block before clipping. We therefore introduce Prefix-Block Policy Optimization (PBPO), which preserves block-level conditioning but applies surrogate importance weighting and clipping separately to each token. PBPO further diversifies repeated updates by resampling corrupted views of the prompt and revealed prefix, a design motivated by masked-dLLM pre-training. Under our analysis assumptions, block-product weighting amplifies the variance of gradient contributions relative to token-local weighting. Across two LLaDA-family initializations, six benchmarks, and three generation lengths, PBPO achieves competitive performance against existing dLLM RL methods.
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は、各ブロック内で複数のトークンを反復的に識別しながら、ブロック間で自己回帰的に応答を復号する。 この構造は、ブロックレベルのポリシー最適化を自己回帰的なポリシー最適化の自然な適応にする。 しかし、完了したブロックの正確な確率は、中間状態の辺りを減らし、デノナイジング過程の順序を明らかにするため、難解である。 ブロックレベルの定式化を実現するため、プレフィックスブロック状態を構築し、単一のモデル評価を用いてブロック確率の因子化されたワンステップサロゲートを定義する。 結果として生じるブロックサロゲート比はトークンサロゲート比の産物であり、クリッピング前に個々の位置の変動がブロック全体に伝播する。 そこで,ブロックレベル条件を保存するプリフィックス・ブロックポリシー最適化(PBPO)を導入し,各トークンに対して重み付けとクリッピングを個別に適用した。 PBPOはさらに、プロンプトと明示されたプレフィックスの破損したビューを再サンプリングすることで、繰り返し更新を多様化している。 解析的な仮定の下では、ブロック積重み付けはトークン局所重み付けに対する勾配寄与の分散を増幅する。 2つのLLaDAファミリーの初期化、6つのベンチマーク、3世代にわたって、PBPOは既存のdLLM RL法と競合する性能を達成している。

関連論文リスト

• One Block Ahead: Promoting Sampler State in Diffusion Language Models [99.46600508506799]
  ブロック拡散言語モデルはトークンの位置のブロック全体を並列に識別し、各フォワードパスは多数のトークンを出力する。 学習不要な復号アルゴリズムであるOne Block Ahead (OBA)を提案する。
  論文  参考訳（メタデータ） (2026-10-14T03:28:31Z)
• BlockPilot: Instance-Adaptive Policy Learning for Diffusion-based Speculative Decoding [20.29443489871258]
  投機的復号化は、ブロックレベルの拡散を通じてフォワードパス毎に複数のトークンを生成することで並列性を改善する。 既存の手法では、固定された推論ブロックサイズを採用し、全ての入力に対して最適なデコード戦略を仮定する。 最適なブロックサイズがサンプルによって異なり、投機的復号性能において重要な役割を果たすため、この仮定は準最適であることを示す。 プリフィル表現から最適なブロックサイズを予測する,サンプル適応型ポリシであるBlockPilotを提案する。
  論文  参考訳（メタデータ） (2026-06-30T08:24:05Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning [41.859993506122194]
  固定サイズのブロック世代は、効果的で一貫性のある推論にとって重要なボトルネックである。 本稿では,モノトニック・エントロピー・ディフレキティブ(モノトニック・エントロピー・ディフレキティブ)を用いて動的サイズ推論ブロックを学習する,dLLMのための新しい学習後フレームワークb1を提案する。
  論文  参考訳（メタデータ） (2026-05-04T06:17:49Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size [7.442463267121892]
  拡散に基づく大規模言語モデル (dLLM) は並列デコードに固有の能力で注目を集めている。 本稿では,セミARデコードにおける固定ブロックサイズの仮定に挑戦する最初の体系的な研究を提案する。 AdaBlock-dLLMは,実行中のブロックサイズを調整することで,ブロック境界とセマンティックステップを適応的に調整する,トレーニング不要のプラグイン・アンド・プレイスケジューラである。
  論文  参考訳（メタデータ） (2025-09-30T15:53:56Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Towards Universal Dense Blocking for Entity Resolution [49.06313308481536]
  ドメインに依存しない、容易に観測可能なコーパス上で事前学習を行う密集型ブロッカであるUniBlockerを提案する。 ドメインに依存しない事前トレーニングを行うことで、UniBlockerはドメイン固有の微調整を必要とせずに、さまざまなダウンストリームブロッキングシナリオに適応できる。 提案したUniBlockerは、ドメイン固有の学習を一切行わず、従来の自己および教師なしの密なブロッキング手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-23T08:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。