論文の概要: CARVE: Verified Expansion for Variable-Length Generation in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2608.30922v1
- Date: Mon, 31 Aug 2026 15:00:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.460483
- Title: CARVE: Verified Expansion for Variable-Length Generation in Diffusion Language Models
- Title（参考訳）: CARVE:拡散言語モデルにおける可変長生成のための検証拡張
- Abstract要約: マスク付き拡散言語モデルは、部分的に観察された応答キャンバスからトークンを予測する。
標準的なマスク付き拡散デコーダは、厳密な推論インタフェースを使用する。
マスク拡散LMのトレーニング不要な可変長アルゴリズムであるCARVEを紹介する。
- 参考スコア（独自算出の注目度）: 6.222236986144176
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked diffusion language models predict tokens from a partially observed response canvas, enabling bidirectional conditioning and parallel token refinement. Yet standard masked-diffusion decoders use a rigid inference interface: the number of masked positions allocated to the answer is fixed before generation begins. Choosing this length is difficult. A short canvas can truncate reasoning or code, while a long canvas wastes computation and can perturb denoising. We introduce CARVE (Counterfactual-Aware Reveal with Verified Expansion), a training-free variable-length algorithm for masked diffusion LMs. Starting from a shorter canvas, CARVE can grow the response during decoding by inserting additional [MASK] positions. Rather than keeping every insertion, CARVE tests a candidate expanded canvas and asks a counterfactual question: would the model make similar predictions for the unresolved positions in the original canvas if the extra masked space were present? The inserted masks are kept only when they induce low Jensen-Shannon (JS) divergence on aligned unresolved positions. This makes length growth a verified stability decision rather than a pure confidence heuristic. CARVE applies without retraining to both full-canvas and blockwise diffusion decoders. Across code generation and mathematical reasoning benchmarks, CARVE consistently improves average performance over fixed-length baselines across all evaluated model families. Crucially, CARVE achieves these accuracy gains while reducing inference cost, reaching half the FLOPs of fixed-length decoding in some settings.
- Abstract（参考訳）: マスク付き拡散言語モデルは、部分的に観察された応答キャンバスからトークンを予測し、双方向条件付けと並列トークン精錬を可能にする。
しかし、標準的なマスク付き拡散デコーダは、厳密な推論インタフェースを使用し、応答に割り当てられたマスクされた位置の数は、生成が始まる前に固定される。
この長さを選ぶのは難しい。
短いキャンバスは推論やコードを動かすことができ、長いキャンバスは計算を無駄にし、摂動を抑えることができる。
CARVE(Counterfactual-Aware Reveal with Verified Expansion)は,マスク拡散LMのトレーニング不要な可変長アルゴリズムである。
短いキャンバスから始めると、CARVEは追加[MASK]位置を挿入することでデコード中の応答を増大させることができる。
CARVEは全ての挿入を保持する代わりに、候補拡大キャンバスをテストし、逆の質問をする: 余剰のマスク空間が存在する場合、モデルは元のキャンバスの未解決位置について同様の予測をするだろうか?
挿入されたマスクは、整列した未解決位置において低いジェンセンシャノン(JS)の発散を引き起こす場合にのみ保持される。
これにより、長さ成長は純粋な自信のヒューリスティックというよりは、確実な安定性の決定となる。
CARVEはフルキャンバスとブロックワイド拡散デコーダの両方に再トレーニングすることなく適用できる。
コード生成と数学的推論のベンチマークを通じて、CARVEは、評価されたすべてのモデルファミリの固定長ベースラインに対する平均性能を一貫して改善する。
重要なことに、CARVEは推論コストを削減しつつこれらの精度向上を実現し、いくつかの設定で固定長復号のFLOPの半分に達する。
関連論文リスト
- Length-Adaptive Decoding for Masked Diffusion Machine Translation [2.797813058568041]
本稿では,平均的な予測エントロピーにより候補対象キャンバスをスコアするトレーニング不要長セレクタであるEntropy-Valley(EV)を紹介する。
EVは64.9%、65.3%、COMET-22の33.0%をEn$to$Zh、Zh$to$En、En$to$Deで回収する。
論文 参考訳（メタデータ） (2026-08-23T08:04:56Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - DSL-LLaDA: Scaling Continuous Denoising to 8B Masked Diffusion LMs [29.561307941602482]
マスク付きDLMは, 連続的な埋め込み空間の認知を支援するために, 軽量に適応可能であることを示す。
適応モデルは、埋め込み空間において全ての位置を共同で進化させる連続推論をサポートする。
DSL-LLaDA-SDEは4つのベンチマークで最高のROUGE-1を達成する。
論文 参考訳（メタデータ） (2026-05-31T05:27:01Z) - Adaptation to Intrinsic Dependence in Diffusion Language Models [5.185131234265025]
拡散言語モデル(DLM)は自己回帰(AR)アプローチに代わる有望な代替手段として登場した。
対象データ分布の(未知の)依存構造に適応するDLMの分布に依存しないアンマスキングスケジュールを提案する。
この結果は, 先行収束理論を著しく改善し, 低複雑さ分布に対する相当なサンプリング加速を得た。
論文 参考訳（メタデータ） (2026-02-23T18:41:34Z) - Continuous Autoregressive Language Models [56.49239051750678]
我々はCALM(Continuous Autoregressive Language Models)を紹介する。
CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。
我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
論文 参考訳（メタデータ） (2025-10-31T17:58:11Z) - No Compute Left Behind: Rethinking Reasoning and Sampling with Masked Diffusion Models [42.158430350703505]
マスク付き拡散言語モデルは、ランダムにマスキングされたシーケンスにおける埋め込み位置を訓練する。
推論・アズ・インフィルとマルチトークンエントロピーデコーディングを提案する。
本研究は,MDLMが使用するトレーニングと計算によって,多くの新しい推論とポストトレーニング手法が解き放たれることを示す。
論文 参考訳（メタデータ） (2025-10-22T19:41:27Z) - Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。
これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。
連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
論文 参考訳（メタデータ） (2025-10-01T18:00:56Z) - Sequential Diffusion Language Models [110.06562906987052]
拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。
次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。
本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
論文 参考訳（メタデータ） (2025-09-28T17:59:15Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳（メタデータ） (2025-08-27T02:49:33Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z) - Variational Diffusion Auto-encoder: Latent Space Extraction from
Pre-trained Diffusion Models [0.0]
可変オートエンコーダ(VAE)は、生成された画像の品質の問題に直面し、しばしば目立った曖昧さを示す。
この問題は、条件付きデータ分布を近似する非現実的な仮定である $p(textbfx | textbfz)$ が等方ガウス的であることに由来する。
本稿では,エンコーダを最適化することにより,既存の拡散モデルから潜在空間を抽出し,限界データのログ化を最大化する方法について述べる。
論文 参考訳（メタデータ） (2023-04-24T14:44:47Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳（メタデータ） (2020-04-30T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。