Fugu-MT 論文翻訳(概要): Block-R1: Rethinking the Role of Block Size in Multi-domain Reinforcement Learning for Diffusion Large Language Models

論文の概要: Block-R1: Rethinking the Role of Block Size in Multi-domain Reinforcement Learning for Diffusion Large Language Models

arxiv url: http://arxiv.org/abs/2605.11726v2
Date: Wed, 13 May 2026 15:38:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-14 17:13:58.893113
Title: Block-R1: Rethinking the Role of Block Size in Multi-domain Reinforcement Learning for Diffusion Large Language Models
Title（参考訳）: Block-R1:拡散大言語モデルのためのマルチドメイン強化学習におけるブロックサイズの役割を再考する
Abstract要約: ブロックサイズはdLLMにおいて重要な要素となっている。本稿では,マルチドメインシナリオにおけるDLLM RLポストトレーニングにおけるドメインコンフリクトの観点からのブロックサイズについて検討する。
参考スコア（独自算出の注目度）: 41.859993506122194
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, reinforcement learning (RL) has been widely applied during post-training for diffusion large language models (dLLMs) to enhance reasoning with block-wise semi-autoregressive generation. Block size has therefore become a vital factor in dLLMs, since it determines the parallel decoding granularity and affects the rollout trajectories during RL optimisation, e.g., GRPO. Instead of investigating the effect of block size during inference on individual domains, this paper studies block size from a domain conflict perspective for dLLM RL post-training in multi-domain scenarios. The main contributions are: (1) a formulation of domain block size conflict in multi-domain RL for dLLMs, which will largely affect the post-training effectiveness for rollout-based RL methods; (2) a novel dataset, Block-R1-41K is constructed with a best-improved training block size for each sample, which also induces a Block Size Conflict Score to quantitatively measure the domain conflict; (3) a new benchmark, Block-R1, for flexible RL post-training for dLLMs in both single and cross domain; and (4) a simple yet powerful cross-domain post-training method with sample-level best-improved training block sizes. Extensive experiments on 13 distinct datasets, 7 latest RL algorithms and diverse dLLM backbones are comprehensively covered in Block-R1. The benchmark is open-sourced at https://github.com/YanJiangJerry/Block-R1 with the dataset released at https://huggingface.co/datasets/YanJiangJerry/Block-R1-41K.
Abstract（参考訳）: 近年,拡散大言語モデル (dLLMs) のポストトレーニング中に強化学習 (RL) が広く適用され,ブロックワイド半自己回帰生成による推論が向上している。したがってブロックサイズは、並列デコード粒度を決定し、RL最適化中のロールアウト軌跡、例えばGRPOに影響を与えるため、dLLMsにおいて重要な要素となっている。本稿では,各ドメインに対する推論におけるブロックサイズの影響を調べる代わりに,マルチドメインシナリオにおけるDLLM RLポストトレーニングにおけるドメイン競合の観点からブロックサイズを考察する。主な貢献は、(1)dLLMのマルチドメインRLにおけるドメインブロックサイズ競合の定式化、(2)ロールアウトベースのRLメソッドのポストトレーニング効果に大きく影響する、(2)新しいデータセットであるBlock-R1-41Kは、各サンプルに対して最も改善されたトレーニングブロックサイズで構築され、ドメインの衝突を定量的に測定するBlock Size Conflict Scoreを誘導する、(3)シングルドメインとクロスドメインの両方でdLLMの柔軟なRLポストトレーニングのためのBlock-R1、(4)サンプルレベルで最も改善されたトレーニングブロックサイズを持つ単純なクロスドメインポストトレーニング方法である。 13の異なるデータセット、最新のRLアルゴリズム7、多様なdLLMバックボーンに関する大規模な実験は、Block-R1で包括的にカバーされている。ベンチマークはhttps://github.com/YanJiangJerry/Block-R1でオープンソース化され、データセットはhttps://huggingface.co/datasets/YanJiangJerry/Block-R1-41Kでリリースされた。

関連論文リスト

DreamReasoner-8B: Block-Size Curriculum Learning for Diffusion Reasoning Models [82.86749180125919]
我々は,オープンソースのブロック拡散推論モデルであるDreamReasoner-8Bを開発した。我々の分析では、大きなブロックサイズでのトレーニングは、非常に不十分な推論をもたらすという、パフォーマンスの相違が明らかになっている。本稿では,より粒度の細かいブロックサイズから粗いブロックサイズに段階的に移行したブロックサイズのカリキュラム学習を提案する。
論文参考訳（メタデータ） (2026-06-17T16:34:02Z)
BlockBatch: Multi-Scale Consensus Decoding for Efficient Diffusion Language Model Inference [15.424211656458453]
拡散言語モデルは、複数のトークン位置を並列に反復的に認知することでテキストを生成する。小さなブロックはローカル条件を保存するが、多くのデノーミングステップを必要とするが、大きなブロックはより並列性を公開するが、早期のコミットとキャッシュエラーを蓄積することができる。バッチ転送パス内で同じリクエストに対して複数のブロックサイズのブランチを実行する,トレーニング不要なオンライン推論フレームワークであるBlockBatchを提案する。
論文参考訳（メタデータ） (2026-05-28T01:48:29Z)
Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning [41.859993506122194]
固定サイズのブロック世代は、効果的で一貫性のある推論にとって重要なボトルネックである。本稿では,モノトニック・エントロピー・ディフレキティブ(モノトニック・エントロピー・ディフレキティブ)を用いて動的サイズ推論ブロックを学習する,dLLMのための新しい学習後フレームワークb1を提案する。
論文参考訳（メタデータ） (2026-05-04T06:17:49Z)
MI-PRUN: Optimize Large Language Model Pruning via Mutual Information [73.6518842907835]
大規模言語モデルのための相互情報に基づくプルーニング手法MI-PRUNを提案する。隠れ状態の遷移を評価することによって、相互情報を利用して冗長なブロックを識別する。また,ブロックの組み合わせを反復的に更新し,グローバルな最適解を実現するFast-Block-Selectアルゴリズムを開発した。
論文参考訳（メタデータ） (2026-01-12T05:06:01Z)
From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2025-12-07T10:28:21Z)
Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。半自己回帰推論による微調整ミスアライメントの標準化我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文参考訳（メタデータ） (2025-08-27T02:49:33Z)
DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。本研究は,それらの認知過程と強化学習手法について考察する。我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
論文参考訳（メタデータ） (2025-06-25T17:35:47Z)
Towards Universal Dense Blocking for Entity Resolution [49.06313308481536]
ドメインに依存しない、容易に観測可能なコーパス上で事前学習を行う密集型ブロッカであるUniBlockerを提案する。ドメインに依存しない事前トレーニングを行うことで、UniBlockerはドメイン固有の微調整を必要とせずに、さまざまなダウンストリームブロッキングシナリオに適応できる。提案したUniBlockerは、ドメイン固有の学習を一切行わず、従来の自己および教師なしの密なブロッキング手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2024-04-23T08:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。