論文の概要: SetCommit: Coordinated Token Commitments for Few-Step Diffusion Language Model Decoding

• arxiv url: http://arxiv.org/abs/2610.31120v1
• Date: Thu, 22 Oct 2026 11:33:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.342629
• Title: SetCommit: Coordinated Token Commitments for Few-Step Diffusion Language Model Decoding
• Title（参考訳）: SetCommit: Few-Step Diffusion Language Model Decodingのためのコーディネートトークン
• Abstract要約: 拡散言語モデルは複数のトークン位置を並列に生成する。 数ステップの復号化は並列コミットを難しくする。 本稿では,並列トークンの協調化のためのトレーニング不要手法であるSetCommitを紹介する。
• 参考スコア（独自算出の注目度）: 11.80452574367491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion language models generate multiple token positions in parallel, but few-step decoding makes parallel commitment difficult: tokens that appear reliable individually may be jointly inconsistent, while premature commitments can prevent later context-dependent refinement. In this paper, we introduce SetCommit, a training-free method for coordinated parallel token commitment. Instead of selecting tokens independently by confidence, SetCommit selects a commitment set that balances token reliability against local joint commitment risk, preserving conditioning opportunities for subsequent denoising steps. It further performs budget-neutral local exchanges, replacing vulnerable earlier commitments when newly revealed context supports more reliable alternatives. SetCommit requires no retraining or architectural modification and is compatible with existing diffusion decoding strategies. Experiments with LLaDA-8B and Dream-7B on GSM8K, MATH-500, MBPP, and HumanEval show accuracy/pass@1 gains of up to 7.4 percentage points over native decoding at 32 model evaluations. At common quality targets, geometric-mean incremental speedups range from $1.44$ to $1.74\times$. Code is available at https://github.com/Kissmetothemoon/SetCommit.
• Abstract（参考訳）: 拡散言語モデルは複数のトークン位置を並列に生成するが、数ステップの復号化は並列的なコミットメントを難しくする。 本稿では,並列トークンの協調化のためのトレーニングフリー手法であるSetCommitを紹介する。 SetCommitは、トークンを信頼性で独立して選択する代わりに、トークンの信頼性と局所的な共同コミットメントリスクのバランスをとるコミットメントセットを選択し、その後の演目ステップの条件付けの機会を保存する。 さらに予算ニュートラルなローカル交換を行い、新たに発表されたコンテキストがより信頼性の高い代替手段をサポートする場合に、脆弱な以前のコミットメントを置き換える。 SetCommitは再トレーニングやアーキテクチャの変更を必要とせず、既存の拡散復号化戦略と互換性がある。 GSM8K、MATH-500、MBPP、HumanEvalでのLLaDA-8BとDream-7Bによる実験では、32モデル評価でネイティブデコーディングよりも精度/パス@1が7.4ポイント向上した。 一般的な品質目標では、幾何平均のインクリメンタルスピードアップは1.44ドルから1.74ドルまでである。 コードはhttps://github.com/Kissmetothemoon/SetCommit.comから入手できる。

関連論文リスト

• Balance-Aware Pivot Selection for Parallel Diffusion LLM Decoding [9.039399039874432]
  拡散言語モデルは並列トークン生成を可能にし、シーケンシャルな自己回帰デコードに代わる有望な代替手段を提供する。 本稿では,連続したマスキング間隔内で中心的なピボットを優先し,選択した位置を並列に復号するバランス・アウェア・ピボット・デコーディング(BPD)を提案する。 我々は,LLaDAとDreamの5つの数学的推論,コード生成,命令追従ベンチマークで得られた品質効率のトレードオフを評価する。
  論文  参考訳（メタデータ） (2026-10-19T09:01:24Z)
• Don't Commit Alone: Joint Token Commitment in Diffusion Large Language Models [0.6916773850242582]
  マーカー付きコーディネーションパスであるCoCommitを提案する。 LLaDA2.1-miniとLoRAアダプタと一致したグリーディ推論では、共同コミットメントは評価した6つのベンチマークの正確性を改善する。
  論文  参考訳（メタデータ） (2026-07-05T19:29:13Z)
• Mean-Field Parallel Decoding for Discrete Diffusion Language Models [47.086589631406035]
  並列更新をコーディネートするトレーニングフリーなデコードフレームワークを導入する。 変動緩和は、矛盾する同時コミットを抑制する単純な固定点更新をもたらす。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-06-14T13:17:58Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
  AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
  論文  参考訳（メタデータ） (2026-06-02T21:35:54Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models [21.699371484195865]
  我々は,dLLMの最終隠れ状態にアタッチする軽量依存予測器DEMASKを提案する。 実証的に、DEMASKはDream-7Bで1.7-2.2$times$ Speedupを達成し、信頼性ベースのベースラインやKLベースのベースラインと比較して精度が向上した。
  論文  参考訳（メタデータ） (2026-04-02T22:21:24Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。