論文の概要: Dynamic Infilling Anchors for Format-Constrained Generation in Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2606.04535v1
• Date: Wed, 03 Jun 2026 07:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.602686
• Title: Dynamic Infilling Anchors for Format-Constrained Generation in Diffusion Large Language Models
• Title（参考訳）: 拡散大言語モデルにおけるフォルマト制約生成のための動的埋込みアンカー
• Authors: Boyan Han, Yiwei Wang, Yi Song, Yujun Cai, Chi Zhang,
• Abstract要約: 動的埋込アンカー (DIA) は, 動的にエンドアンカー位置を推定し, 反復埋込前の生成長を調整する。 DIAはフォーマットのコンプライアンスと回答の精度を大幅に改善し、GSM8KとMATHで大きなゼロショットゲインを達成する。
• 参考スコア（独自算出の注目度）: 27.57238064480217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion large language models (dLLMs) offer bidirectional attention and parallel generation, enabling them to exploit global context and naturally support format-constrained tasks like parseable JSON or reasoning templates. While straightforward fixed anchors can enforce such constraints, they often impose rigid spans, leading to truncated reasoning or redundant content. To overcome this, we propose Dynamic Infilling Anchors (DIA), a training-free method that dynamically estimates end-anchor positions to adjust generation length before iterative infilling. This flexible mechanism ensures structural correctness and semantic coherence, avoiding the inefficiencies of fixed-span methods. Experiments on reasoning benchmarks demonstrate that DIA substantially improves format compliance and answer accuracy, achieving significant zero-shot gains on GSM8K and MATH. These results establish DIA as a robust pathway toward reliable, structure-aware generation.
• Abstract（参考訳）: 拡散大型言語モデル(dLLMs)は双方向の注意と並列生成を提供し、グローバルコンテキストを活用でき、JSONのパースや推論テンプレートなどのフォーマット制約されたタスクを自然にサポートする。 単純な固定アンカーはそのような制約を強制することができるが、しばしば厳格なスパンを課し、難解な推論や冗長な内容をもたらす。 これを解決するために,動的埋込アンカー (DIA) を提案する。これは動的にエンドアンカー位置を推定し,反復埋込前の生成長を調整する訓練自由な手法である。 この柔軟なメカニズムは構造的正当性とセマンティックコヒーレンスを保証し、固定スパン法の非効率性を回避する。 推論ベンチマークの実験により、DIAはフォーマットのコンプライアンスと解答精度を大幅に改善し、GSM8KとMATHで大きなゼロショットゲインを達成することが示された。 これらの結果は、DIAを信頼性のある構造認識生成への堅牢な経路として確立する。

関連論文リスト

• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference [51.12849550784653]
  拡散言語モデル (DLM) は自己回帰モデルに代わる有望な代替品として登場した。 ほとんどの既存のDLMはデコードに先立って指定された固定生成長に依存しており、現実世界のアプリケーションでは柔軟性が制限されている。 本稿では,動的構造推論問題としてフレキシブル長生成を定式化する,非学習型ベイズ構造復号化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-10T23:51:14Z)
• FMBench: Adaptive Large Language Model Output Formatting [49.52930069696333]
  適応型マークダウン出力フォーマットのベンチマークであるFMBenchを提案する。 2つのモデルファミリーの実験は、SFTが一貫してセマンティックアライメントを改善していることを示している。 結果はまた、意味的目的と構造的目的の間に固有のトレードオフを明らかにします。
  論文  参考訳（メタデータ） (2026-02-06T04:42:06Z)
• Lookahead-then-Verify: Reliable Constrained Decoding for Diffusion LLMs under Context-Free Grammars [17.13122301190815]
  本稿では,dLLMに特化して設計された制約付き復号法であるLAVEを提案する。 提案手法は,dLLMの鍵となる特性,すなわち前方通過時の全位置のトークン分布を予測する能力を利用する。 広く使用されている4つのdLLMと3つの代表的なベンチマークによる大規模な実験は、LAVEが既存のベースラインを一貫して上回り、構文的正確性を大幅に改善し、無視可能なランタイムオーバーヘッドを発生させることを示した。
  論文  参考訳（メタデータ） (2026-01-31T08:58:15Z)
• WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning [39.57157800995735]
  本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。 推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-11-22T07:33:00Z)
• Unlocking the Potential of Diffusion Language Models through Template Infilling [33.69224085914102]
  Diffusion Language Models (DLMs) は、自動回帰言語モデルに代わる有望な代替品として登場した。 DLMの生成プロセスに適した条件付け手法であるテンプレート埋め込み(TI)を提案する。 TIは, 生成品質を維持しつつ, 効率的な高速化を実現するため, マルチトークン生成設定においてさらなる優位性を提供することを示す。
  論文  参考訳（メタデータ） (2025-10-13T12:33:41Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。