論文の概要: Balance-Aware Pivot Selection for Parallel Diffusion LLM Decoding

• arxiv url: http://arxiv.org/abs/2610.26040v1
• Date: Mon, 19 Oct 2026 09:01:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:16:01.926716
• Title: Balance-Aware Pivot Selection for Parallel Diffusion LLM Decoding
• Title（参考訳）: 並列拡散LDM復号化のためのバランス対応ピボット選択法
• Abstract要約: 拡散言語モデルは並列トークン生成を可能にし、シーケンシャルな自己回帰デコードに代わる有望な代替手段を提供する。 本稿では,連続したマスキング間隔内で中心的なピボットを優先し,選択した位置を並列に復号するバランス・アウェア・ピボット・デコーディング(BPD)を提案する。 我々は,LLaDAとDreamの5つの数学的推論,コード生成,命令追従ベンチマークで得られた品質効率のトレードオフを評価する。
• 参考スコア（独自算出の注目度）: 9.039399039874432
• License:
• Abstract: Diffusion language models enable parallel token generation, offering a promising alternative to sequential autoregressive decoding. Existing acceleration methods use predictive confidence to enable parallel token commitment while preserving generation quality. However, confidence-based selection prioritizes reliable token predictions without explicitly considering how token positions shape the remaining decoding schedule. Moreover, such ordering does not always reflect inter-token dependencies, suggesting that confidence need not be the sole criterion for token selection. Motivated by this limitation, we propose Balance-Aware Pivot Decoding (BPD), which favors central pivots within contiguous masked intervals and decodes the selected positions in parallel. Balanced pivots yield logarithmic decoding depth in the interval length. Our practical method accounts for model uncertainty by combining confidence-based prefilling with confidence-thresholded center selection. We evaluate the resulting quality-efficiency tradeoff on LLaDA and Dream across five mathematical reasoning, code generation, and instruction-following benchmarks. Our implementation is available at: https://anonymous.4open.science/r/DLM_random_pivot-EE62/
• Abstract（参考訳）: 拡散言語モデルは並列トークン生成を可能にし、シーケンシャルな自己回帰デコードに代わる有望な代替手段を提供する。 既存の加速法では、予測信頼を利用して、生成品質を維持しながらパラレルトークンのコミットメントを可能にする。 しかし、信頼性に基づく選択は、トークンの位置が残りの復号スケジュールをどのように形成するかを明示的に考慮することなく、信頼性の高いトークン予測を優先する。 さらに、このような順序付けは、必ずしもトークン間の依存関係を反映するわけではなく、トークン選択の唯一の基準である必要はないことを示唆している。 この制限によって動機づけられたバランス・アウェア・Pivot Decoding (BPD) は、連続したマスキング間隔内で中心的なピボットを好み、選択した位置を並列に復号する。 平衡ピボットは間隔長で対数復号深度を得る。 提案手法は,信頼度に基づくプレフィルと信頼度保持型センター選択を組み合わせることで,モデル不確実性を考慮した。 我々は,LLaDAとDreamの5つの数学的推論,コード生成,命令追従ベンチマークで得られた品質効率のトレードオフを評価する。 実装は以下の通りである。 https://anonymous.4open.science/r/DLM_random_pivot-EE62/

関連論文リスト

• Contextual Correction of Parallel Draftsfor Speculative Decoding [45.86473120779775]
  DCOCO(DFlash Contextual Corrector)は,並列ドラフトを保ちながらブロック内依存関係を復元する軽量なメカニズムである。 4つの検証器のバックボーンと10のベンチマークで、DCOCOは評価された構成ごとに最も高い平均スループットを達成する。 DCOCOは4～32の同時リクエストに対して6～23%の差で最強の競合メソッドを上回ります。
  論文  参考訳（メタデータ） (2026-10-08T18:01:03Z)
• Hierarchical Continuous Diffusion Language Models [50.34180702812139]
  階層型連続拡散言語モデル(HC-DLM)を提案する。 HC-DLMは離散トークン生成と連続的な潜在軌道を1つの原理化過程で結合する。 これは、一致したモデルサイズでの離散的かつ連続的な拡散ベースライン、スドゥークとカウントダウンのパズル精度、およびLM1Bの生成パープレキシティを向上する。
  論文  参考訳（メタデータ） (2026-10-01T17:59:39Z)
• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Reliable Parallel Decoding in Masked Diffusion Language Models [36.793237906931076]
  マスク付き拡散言語モデルは、複数のマスク付きトークンを並列に予測することで、テキストを効率的に生成することができる。 しかし、同じ前方通過からの予測は、一緒にコミットするときに必ずしも信頼できるとは限らない。 本稿では,階層的な予測安定性と最終的な信頼度によって候補を選択する訓練不要な手法であるReliable Parallel Decoding (RPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T01:15:11Z)
• From Position Risks to Block Survival: Faster Generation for Diffusion Language Models [8.476731545781847]
  拡散言語モデル(DLM)は複数のトークンを並列に予測することで生成を加速することができる。 これらのトークンの予測方法と、最終的に生成にどのように貢献するかの間には、ミスマッチがあります。 BRISK-DLM(BRISK-DLM)は、提案学習の最適化と、検証された進捗に対する選択によって、両者のミスマッチに対処するフレームワークである。
  論文  参考訳（メタデータ） (2026-09-27T09:11:26Z)
• Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
  Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。 本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。 RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
  論文  参考訳（メタデータ） (2026-08-12T07:32:29Z)
• Escaping Confidence Trap: Evolutionary Decoding for Mathematical Reasoning in Diffusion LLMs [69.52853771994451]
  我々はLLaDA 2.0の復号軌道を解析し、繰り返し拡散信頼トラップを同定する。 本稿では,拡散復号化を進化過程とみなす訓練不要なテスト時間スケーリングフレームワークである進化復号法を提案する。
  論文  参考訳（メタデータ） (2026-08-01T11:48:25Z)
• Mean-Field Parallel Decoding for Discrete Diffusion Language Models [47.086589631406035]
  並列更新をコーディネートするトレーニングフリーなデコードフレームワークを導入する。 変動緩和は、矛盾する同時コミットを抑制する単純な固定点更新をもたらす。 推論とコード生成ベンチマークの実験では、品質とレイテンシのトレードオフが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-06-14T13:17:58Z)
• Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
  AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。 AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
  論文  参考訳（メタデータ） (2026-06-02T21:35:54Z)
• LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
  LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。 LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。 GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
  論文  参考訳（メタデータ） (2026-05-09T03:26:23Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。