論文の概要: GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.29136v1
• Date: Wed, 21 Oct 2026 03:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.188335
• Title: GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
• Title（参考訳）: GRAFT:連続拡散言語モデルにおけるミスサンプリングインタフェースの復元
• Abstract要約: 連続拡散言語モデルは並列に全シーケンスを生成し、任意の中間ステップで1つの単語を描画することはない。 この原理は、語彙の長い尾の崩壊という隠れたコストを伴っている。 GRAFTは、この欠落した選択を凍結モデルに移植する訓練不要な手法である。
• 参考スコア（独自算出の注目度）: 2.4850933934002906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous diffusion language models generate a whole sequence in parallel, never drawing a single word at any intermediate step; only the final step turns embeddings into text. Models such as ELF now report autoregressive-level quality at a fraction of the sampling steps of discrete-token diffusion models, and this design principle -- no step-wise discretization -- is what their own ablations credit for the gain. We show that this same principle carries a hidden cost: a collapse of the lexical long tail. Measured against held-out human text, ELF's output matches the human rate on common words almost exactly, yet its rarest words appear at only 0.30x the human rate, a gap that does not close from 105M to 652M parameters and that no sampler setting these models expose can reach. A same-size GPT-2, in contrast, spans zero to above the human rate by its decoding rule alone. We trace the difference to what continuous diffusion models lack: with no step that ever draws a discrete word, every step is instead driven by an average over the candidates still in play, and averaging a rare candidate together with the common word competing for its slot lands on the common word. An autoregressive model avoids this because its decoding rule samples one candidate rather than averaging over all of them. We propose GRAFT, a training-free method that grafts this missing choice back onto a frozen model: while the model is still undecided, GRAFT commits the rare words the average would otherwise discard, then regenerates the sequence from scratch with those commitments held in place. Across three ELF scales and on LangFlow, an independent continuous dLLM, GRAFT restores the rare-word share of generated text from 0.42-0.77x the human rate to 0.82-1.10x, a relative gain of 34-109%, and moves the entire word-frequency profile closer to human on every model tested, by 2.7x on ELF-B and 12x on LangFlow.
• Abstract（参考訳）: 連続拡散言語モデルは並列に全シーケンスを生成し、任意の中間ステップで1つの単語を描画することはない。 ELFのようなモデルでは、離散トークン拡散モデルのサンプリングステップのごく一部で自己回帰レベルの品質が報告されている。 この原理は、語彙の長い尾の崩壊という隠れたコストを伴っている。 ホールドアウトされた人間のテキストに対して測定されたALFの出力は、一般的な単語の人間のレートとほぼ正確に一致しているが、その最も稀な単語は、人間のレートのわずか0.30倍にしか現れず、その差は105Mから652Mのパラメータに近づかない。 対照的に、同じ大きさの GPT-2 は、その復号法則のみにより、人体速度をゼロから上位に広げる。 我々は、連続拡散モデルに欠けている点を辿る: 離散的な単語を描画するステップがない場合、各ステップは、まだプレイ中の候補よりも平均で駆動される。 自己回帰モデルは、そのデコードルールが全ての候補を平均化するのではなく、1つの候補をサンプリングするため、これを回避している。 モデルはまだ決定されていないが、GRAFTは、平均的に捨てられるレアな単語をコミットし、そこで保持されるコミットメントでスクラッチからシーケンスを再生する。 3つのELFスケールと独立したdLLMであるLangFlowでは、GRAFTは生成されたテキストのレアワードシェアを0.42-0.77xから0.82-1.10xに復元する。

関連論文リスト

• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Distilled Continuous Diffusion Language Models Can Write Code in Few Steps---or One [16.38284188874483]
  コード生成のための0.7B連続拡散言語モデルであるPlaidQを紹介する。 以上の結果から,PlaidQの軌道は数段階にのみ積極的に蒸留できることが示唆された。 これらの結果は、数ステップのコード生成と1ステップのコード生成への実行可能なパスとして、継続的拡散を確立します。
  論文  参考訳（メタデータ） (2026-09-03T22:42:57Z)
• AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
  AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
  論文  参考訳（メタデータ） (2026-08-03T17:59:50Z)
• DiffusionGemma Technical Report [72.10570774996219]
  DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。 DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。 私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
  論文  参考訳（メタデータ） (2026-07-31T16:11:46Z)
• Latent-Kernel Discrete Flow Maps for Few-Step Generation [4.159429302112398]
  我々は,M因子化成分を1つの潜伏子で結合したフローマップカーネルを構築する。 1つのステップが、因数分解モデルと同じサンプリング時間複雑度で相関完備化に質量を置くことを示す。 One-Billion-Word (LM1B) とWikiText-103ベンチマークを用いた無条件テキスト生成実験により,LKFモデルが強ヘテロジニアス成分を学習していることが判明した。
  論文  参考訳（メタデータ） (2026-07-29T23:46:31Z)
• Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs Distributional Metrics [49.443264461057645]
  拡散および連続フローベースの言語モデルは、言語モデリングに対する非自己回帰的な主要な代替手段として現れている。 両方のパラダイムの進歩は、生成的複雑度(gen-PPL)によって圧倒的に追跡される。 我々は、この指標は正しくないと主張している。構築により、gen-PPLは、文法性やセマンティックコヒーレンスではなく、スコアARの下でのみ予測可能性を測定する。
  論文  参考訳（メタデータ） (2026-06-07T02:35:56Z)
• LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling [39.014850192441656]
  連続拡散言語モデル(DLM)は、スパースデータ空間と未探索の設計空間により、離散的な言語モデルよりも遅れている。 LangFlowは、組み込み空間のDLMを、Bregmanの発散を介してFlow Matchingに接続する。 LangFlowはperplexity (PPL) とgenerative perplexity (Gen. PPL) の両方で上位のDLMと競合する 7つのベンチマークのうち4つは、ゼロショット転送において自己回帰ベースラインを超えている。
  論文  参考訳（メタデータ） (2026-04-13T17:21:41Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。