論文の概要: Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2606.29275v1
• Date: Sun, 28 Jun 2026 08:45:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.865823
• Title: Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models
• Title（参考訳）: 適応的ブロック拡散:拡散言語モデルにおけるトレーニング-推論ミスマッチの解消
• Abstract要約: 拡散言語モデル (DLMs) は通常、一定の文脈構造の下で訓練される。 そこで本研究では,プレフィックスウィンドウ構成の分布に対する遅延リスクを最適化することにより,このミスマッチを解消する適応ブロック拡散を提案する。 復号化戦略の一般化はトレーニング分布の支援によって制御され、ABDはトレーニング中に構成がカバーされている推論ポリシーに対して最適な復号化を保証する。
• 参考スコア（独自算出の注目度）: 1.7626455083672685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Language Models (DLMs) are typically trained under fixed context structures, restricting denoising to predetermined token subsets. This creates a mismatch between training and inference, where models must operate over arbitrary configurations, leading to degradation off the training grid. We propose Adaptive Block Diffusion (ABD), which resolves this mismatch by optimizing denoising risk over a distribution of prefix-window configurations. By treating the configuration as a stochastic variable, ABD trains a single model over the full configuration space without architectural changes. We show that generalization across decoding strategies is governed by the support of the training distribution, and that ABD guarantees denoising optimality for any inference policy whose configurations are covered during training. Empirically, ABD exhibits structural invariance across decoding scales, avoiding off-grid collapse and recovering a monotonic relationship between block size and perplexity, while matching or outperforming fixed-block specialists at their target scales.
• Abstract（参考訳）: 拡散言語モデル (DLMs) は通常、一定の文脈構造の下で訓練される。 これにより、トレーニングと推論のミスマッチが発生し、モデルが任意の設定上で動作しなければならないため、トレーニンググリッドが劣化する。 本稿では,プレフィックス・ウィンドウ構成の分布に対する遅延リスクを最適化することにより,このミスマッチを解決する適応ブロック拡散(ABD)を提案する。 構成を確率変数として扱うことで、ABDはアーキテクチャの変更なしに、完全な構成空間上で単一のモデルをトレーニングする。 復号化戦略の一般化はトレーニング分布の支援によって制御され、ABDはトレーニング中に構成がカバーされている推論ポリシーに対して最適な復号化を保証する。 実証的には、ABDはデコードスケールにおける構造的不変性を示し、オフグリッド崩壊を回避し、ブロックサイズとパープレキシティのモノトニックな関係を回復すると同時に、ターゲットスケールでの固定ブロックスペシャリストのマッチングやパフォーマンスを向上する。

関連論文リスト

• Discrete Diffusion Models: A Unified Framework from Tokenization to Generation [66.16696467962375]
  この研究は、基礎となる離散状態空間の構築を通じて離散拡散モデルを見る統一的な概念的枠組みを導入する。 このフレームワーク内では、遷移行列、マスキング/吸収状態、スコア/比例に基づくアプローチを含む既存の定式化が、共通のデザイン空間の異なるインスタンス化として現れる。
  論文  参考訳（メタデータ） (2026-07-15T04:23:22Z)
• Soft Specialists: $α$-Rényi Ensembles for Uncertainty-Aware LLM Post-Training [4.297453240868895]
  大規模言語モデルの既存のトレーニングアプローチは、大量のデータに基づいて、単一のパラメータセットを学習する。 学習後パラメータよりも分布を学習するための$-Rényi変分フレームワークを提案する。 局所安定性基準を同定し,モデルの不特定により非退化後部が局所的に拡散しやすいことを示す。
  論文  参考訳（メタデータ） (2026-05-26T22:44:58Z)
• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• Cluster-Aware Neural Collapse Prompt Tuning for Long-Tailed Generalization of Vision-Language Models [20.68004586002534]
  クラスタ認識型ニューラル崩壊プロンプトチューニング(CPT)を提案する。 CPTは、一般化を犠牲にすることなく、プロンプト調整された視覚言語モデルにおけるテールクラスの識別性を向上する。 11の多様なデータセットの実験では、CPTがSOTA法より優れていることが示されている。
  論文  参考訳（メタデータ） (2026-05-12T10:50:43Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• FB-NLL: A Feature-Based Approach to Tackle Noisy Labels in Personalized Federated Learning [2.750124853532831]
  ユーザクラスタリングを反復的なトレーニングダイナミクスから切り離す機能中心のフレームワークであるFB-NLLを提案する。 我々のフレームワークは、平均精度と性能の安定性の観点から、常に最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-04-21T17:51:58Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons [74.25767873168745]
  拡散モデルは効率的な並列テキスト生成を約束するが、双方向の注意に依存し、事前訓練された自己回帰(AR)モデルによる構造的ミスマッチを生成する。 本稿では,ARバックボーンを拡散パラダイムに効率的に適応するフレームワークであるFLUIDを提案する。 実験により、FLUIDは訓練コストを桁違いに削減しつつ、最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-04-11T13:18:27Z)
• AdaFuse: Adaptive Ensemble Decoding with Test-Time Scaling for LLMs [46.52320938421707]
  推論時のアンサンブルは、大規模な言語モデル機能を再訓練せずに組み合わせる実用的な方法を提供する。 生成時に意味的に適切な融合単位を動的に選択する適応型アンサンブルデコーディングフレームワークであるAdaFuseを提案する。 AdaFuseは一貫して強力なアンサンブルベースラインを上回り、6.88%の平均的な相対的な改善を達成している。
  論文  参考訳（メタデータ） (2026-01-09T18:58:22Z)
• WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning [39.57157800995735]
  本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。 推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-22T07:33:00Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。