論文の概要: Measured Coupling for Parallel Decoding in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2611.08307v1
• Date: Thu, 05 Nov 2026 17:10:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.590888
• Title: Measured Coupling for Parallel Decoding in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおける並列デコードのための測定結合
• Abstract要約: 平均場復号法は、予測が似ている位置のペアをペナライズする。 このプロキシを結合自体に置き換えます。 3つのモデルと4つのベンチマークでは、平均フィールドデコーディングよりもはるかに少ないステップが必要である。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models can write many tokens per step, but must choose which tokens are safe to commit together. Mean-field decoding penalizes pairs of positions whose predictions look alike. We replace this proxy with the coupling itself: how much committing one token changes the model's confidence at another. Cheap probes inside the main forward pass measure it, with no training or extra model, and it plugs into the same mean-field rule. On three models and four benchmarks, our method needs far fewer steps than mean-field decoding and is faster in most settings, also with a key-value cache, at an average accuracy cost of 1.1 points. Shuffling the couplings or replacing them with a uniform bonus loses this gain.
• Abstract（参考訳）: 拡散言語モデルは、ステップ毎に多くのトークンを書くことができるが、どのトークンが一緒にコミットするのに安全なかを選択する必要がある。 平均場復号法は、予測が似ている位置のペアをペナライズする。 私たちは、このプロキシを結合そのものに置き換えます。ひとつのトークンをコミットすることで、モデルの信頼性が変わります。 メインフォワードパス内のチーププローブは、トレーニングや余分なモデルなしで測定し、同じ平均フィールドルールに差し込む。 3つのモデルと4つのベンチマークでは、平均フィールドデコーディングよりもはるかに少ないステップが必要であり、キー値キャッシュを持つほとんどの設定では平均精度1.1ポイントで高速である。 カップリングをシャッフルしたり、均一なボーナスで置き換えたりすると、この利得を失う。

関連論文リスト

• TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning [55.18459469601808]
  TokenGateは、学習可能なトークンプルーニングを可能にするために、既存のトレーニングモデルを拡張する小さなコンポーネントである。 トークンプルーニングのための非微分不可能なトップK演算子にも拘わらず、エンドツーエンドの学習を可能にするため、トークン付き注目を導入する。 様々なタスクにおいて、TokenGateは1.4$-11.3times$高速タイムツーファーストトークン(TTFT)と1.5$-3.4times$低ピークメモリを実現している。
  論文  参考訳（メタデータ） (2026-10-19T17:15:53Z)
• On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction [5.093144724934585]
  位置推定順序軌道 (SPOT) は位置予測を学習する。 SPOTはターゲットパスを最大6.8倍に削減し、標準復号のスループットの3.2倍に達する。
  論文  参考訳（メタデータ） (2026-10-15T18:40:42Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Parallel Prefix Verification for Speculative Generation [10.689879928713564]
  PARSE (Parallel pRefix Speculative Engine) は、大規模言語モデル(LLM)推論を高速化する投機生成フレームワークである。 本稿では,大言語モデル(LLM)推論を,意味レベルでプレフィックス検証を並列化することによって高速化する投機的生成フレームワークであるPARSEを紹介する。
  論文  参考訳（メタデータ） (2026-05-05T19:56:37Z)
• Multi-Token Prediction via Self-Distillation [73.81494481537636]
  我々は,事前訓練された自己回帰言語モデルを,スローシングルの次のトークン予測モデルから高速なスタンドアロンマルチトークン予測モデルに変換するための新しいアプローチを検討する。 GSM8Kでは,単一トークン復号性能と比較して平均3倍以上の高速な復号化が可能なモデルを生成する。
  論文  参考訳（メタデータ） (2026-02-05T18:54:48Z)
• Sequential Diffusion Language Models [110.06562906987052]
  拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。 次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。 本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
  論文  参考訳（メタデータ） (2025-09-28T17:59:15Z)
• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens [4.5888031410244885]
  意味適応トークン(SDSAT)を用いた投機的復号化による大規模言語モデル(LLM)の高速化手法を提案する。 この設計の主な目的は、LLMモデルの精度を損なうことなく、より正確にドラフトトークンを生成する能力を高めることである。 CodeLlama-13B と 7B で実施された実験では、それぞれ3.5X と 3.0X 以上の速度向上が達成されている。
  論文  参考訳（メタデータ） (2024-03-27T14:54:27Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。