論文の概要: Improving Variable-Length Generation in Diffusion Language Models via Length Regularization

• arxiv url: http://arxiv.org/abs/2602.07546v1
• Date: Sat, 07 Feb 2026 13:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.683979
• Title: Improving Variable-Length Generation in Diffusion Language Models via Length Regularization
• Title（参考訳）: 拡散言語モデルにおける長周期正規化による可変長生成の改善
• Authors: Zicong Cheng, Ruixuan Jia, Jia Li, Guo-Wei Yang, Meng-Hao Guo, Shi-Min Hu,
• Abstract要約: 拡散大言語モデル(DLLM)は本質的に可変長生成に不適である。 この失敗は、生成信頼度推定における本質的な長さバイアスから生じることを示す。 生成長を明示変数として扱うDLLMの長規則化推論フレームワークであるLR-DLLMを提案する。
• 参考スコア（独自算出の注目度）: 19.270896778996597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Large Language Models (DLLMs) are inherently ill-suited for variable-length generation, as their inference is defined on a fixed-length canvas and implicitly assumes a known target length. When the length is unknown, as in realistic completion and infilling, naively comparing confidence across mask lengths becomes systematically biased, leading to under-generation or redundant continuations. In this paper, we show that this failure arises from an intrinsic lengthinduced bias in generation confidence estimates, leaving existing DLLMs without a robust way to determine generation length and making variablelength inference unreliable. To address this issue, we propose LR-DLLM, a length-regularized inference framework for DLLMs that treats generation length as an explicit variable and achieves reliable length determination at inference time. It decouples semantic compatibility from lengthinduced uncertainty through an explicit length regularization that corrects biased confidence estimates. Based on this, LR-DLLM enables dynamic expansion or contraction of the generation span without modifying the underlying DLLM or its training procedure. Experiments show that LRDLLM achieves 51.3% Pass@1 on HumanEvalInfilling under fully unknown lengths (+13.4% vs. DreamOn) and 51.5% average Pass@1 on four-language McEval (+14.3% vs. DreamOn).
• Abstract（参考訳）: 拡散大言語モデル(DLLM)は、変数長の生成に本質的に不適であり、その推論は固定長キャンバス上で定義され、暗黙的に既知のターゲット長を仮定する。 仮面の長さが不明になると、現実的な完成と埋め合わせのように、仮面の長さ間での信頼度の比較は体系的に偏りを生じ、非世代的あるいは冗長な継続をもたらす。 本稿では,この失敗は生成信頼度推定における本質的な長さ依存性の偏りから生じ,既存のDLLMは生成長を決定する堅牢な方法を持たず,可変長推論を信頼できないものにしていることを示す。 この問題を解決するために, LR-DLLMを提案する。LR-DLLMはDLLMの長規則化推論フレームワークであり, 生成長を明示的な変数として扱い, 推定時間における信頼性の高い長さ決定を実現する。 これは、偏りのある信頼推定を補正する明示的な長さ正規化を通じて、長さ誘起不確実性から意味的整合性を分離する。 これに基づいて、LR-DLLMは、基礎となるDLLMやトレーニング手順を変更することなく、生成スパンの動的拡張または収縮を可能にする。 実験の結果、LRDLLMはHumanEval Infillingで51.3%のPass@1を、完全に未知の長さ(+13.4%対DreamOn)と4言語McEvalで51.5%の平均Pass@1(+14.3%対DreamOn)で達成している。

関連論文リスト

• Can LLMs Track Their Output Length? A Dynamic Feedback Mechanism for Precise Length Regulation [50.821215666749545]
  大きな言語モデル(LLM)は、しばしばその応答長を正確に測ることに失敗し、長さの制約に固執する。 生成中の動的長さフィードバックを組み込んだ新しい長さ制御手法を提案する。 要約タスクと伝記タスクの実験は、目標トークン、単語、文数を達成する際のトレーニング不要なアプローチにより、精度が大幅に向上することを示している。
  論文  参考訳（メタデータ） (2026-01-05T03:49:14Z)
• Beyond Fixed: Training-Free Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
  拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
  論文  参考訳（メタデータ） (2025-08-01T17:56:07Z)
• UNCERTAINTY-LINE: Length-Invariant Estimation of Uncertainty for Large Language Models [51.53270695871237]
  UNCERTAINTY-LINEは、名目上は長さ正規化UQ法よりも一貫して改善されていることを示す。 本手法は, ポストホック, モデル非依存であり, 様々なUQ尺度に適用可能である。
  論文  参考訳（メタデータ） (2025-05-25T09:30:43Z)
• LIFEBench: Evaluating Length Instruction Following in Large Language Models [41.637005190608946]
  本稿では,大規模言語モデルの長文指示に従う能力を評価するためにLIFEBenchを提案する。 LIFEBenchは英語と中国語の4つのタスクカテゴリにまたがる10,800のインスタンスで構成されている。 ほとんどのモデルでは、短い命令を適切に追従するが、一定のしきい値を超えると急激に劣化する。
  論文  参考訳（メタデータ） (2025-05-22T05:08:27Z)
• Hansel: Output Length Controlling Framework for Large Language Models [3.053720182019654]
  Hanselは大規模言語モデルにおける長さ制御のための効率的なフレームワークである。 このフレームワークは、モデルの微調整段階において、事前訓練されたLLMに適用することができる。
  論文  参考訳（メタデータ） (2024-12-18T16:52:38Z)
• CLEX: Continuous Length Extrapolation for Large Language Models [68.43814043853347]
  大規模言語モデル(LLM)のためのCLEX(Continuous Longth Extrapolation)を提案する。 CLEXはコンテキストウィンドウを4倍または8倍のトレーニング長に拡張するが、性能は劣化しない。 我々のモデルは4k長でトレーニングされ、最先端のオープンソースモデルに対して最大32k長でトレーニングされた。
  論文  参考訳（メタデータ） (2023-10-25T08:13:02Z)
• Prompt-Based Length Controlled Generation with Reinforcement Learning [48.49553921757085]
  本稿では,高精度な長さ制御生成を実現するために,プロンプトベースの長さ制御手法を提案する。 我々は、トレーニング可能なモデルまたはルールベースの報酬モデルによって与えられる報酬信号を用いた強化学習を採用する。 提案手法は,CNNDMやNYTなどの一般的なデータセット上での要約タスクにおいて,プロンプトベースの長さ制御の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-23T09:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。