論文の概要: dVoting: Fast Voting for dLLMs

• arxiv url: http://arxiv.org/abs/2602.12153v1
• Date: Thu, 12 Feb 2026 16:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.938465
• Title: dVoting: Fast Voting for dLLMs
• Title（参考訳）: dVoting: dLLMの高速投票
• Authors: Sicheng Feng, Zigeng Chen, Xinyin Ma, Gongfan Fang, Xinchao Wang,
• Abstract要約: 拡散大言語モデル(dLLMs)は自己回帰モデリングを超えた新しいパラダイムである。 dLLMは任意の位置で任意のトークンを並列に生成できるため、並列テストタイムスケーリングには大きな可能性がある。 トレーニングなしで推論能力を高める高速投票手法であるdVotingを導入する。
• 参考スコア（独自算出の注目度）: 71.572316901001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Large Language Models (dLLMs) represent a new paradigm beyond autoregressive modeling, offering competitive performance while naturally enabling a flexible decoding process. Specifically, dLLMs can generate tokens at arbitrary positions in parallel, endowing them with significant potential for parallel test-time scaling, which was previously constrained by severe inefficiency in autoregressive modeling. In this work, we introduce dVoting, a fast voting technique that boosts reasoning capability without training, with only an acceptable extra computational overhead. dVoting is motivated by the observation that, across multiple samples for the same prompt, token predictions remain largely consistent, whereas performance is determined by a small subset of tokens exhibiting cross-sample variability. Leveraging the arbitrary-position generation capability of dLLMs, dVoting performs iterative refinement by sampling, identifying uncertain tokens via consistency analysis, regenerating them through voting, and repeating this process until convergence. Extensive evaluations demonstrate that dVoting consistently improves performance across various benchmarks. It achieves gains of 6.22%-7.66% on GSM8K, 4.40%-7.20% on MATH500, 3.16%-14.84% on ARC-C, and 4.83%-5.74% on MMLU. Our code is available at https://github.com/fscdc/dVoting
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs)は、自動回帰モデリング以外の新しいパラダイムであり、フレキシブルなデコーディングプロセスを自然に実現しつつ、競争力のあるパフォーマンスを提供する。 具体的には、dLLMは任意の位置に任意のトークンを並列に生成することができ、それに対して、以前は自己回帰モデリングにおける過度な非効率性によって制約されていた並列テスト時間スケーリングの有意なポテンシャルが与えられる。 本稿では,学習なしで推論能力を高める高速投票手法であるdVotingを紹介する。 dVotingは、同じプロンプトのために複数のサンプルにわたってトークン予測がほぼ一貫したままであり、一方、性能はクロスサンプル変数を示すトークンの小さなサブセットによって決定される、という観察によって動機付けられている。 dLLMの任意の位置生成能力を活用して、dVotingはサンプリングを行い、一貫性分析によって不確実なトークンを特定し、投票によってそれらを再生し、収束するまでこのプロセスを繰り返す。 大規模な評価では、dVotingはさまざまなベンチマークのパフォーマンスを継続的に改善している。 GSM8Kは6.22%-7.66%、MATH500は4.40%-7.20%、ARC-Cは3.16%-14.84%、MMLUは4.83%-5.74%である。 私たちのコードはhttps://github.com/fscdc/dVotingで利用可能です。

関連論文リスト

• Learning Unmasking Policies for Diffusion Language Models [33.44995119635116]
  言語モデル(dLLM)は、多くのタスクにおいて、自己回帰的な処理の下流のパフォーマンスにマッチする。 特別なマスクトークンで満たされたバッファが、モデルの語彙からサンプリングされたトークンに徐々に置き換えられる。 本研究では,強化学習を用いたサンプリング手順の訓練を提案する。
  論文  参考訳（メタデータ） (2025-12-09T20:44:33Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models [40.651650382105636]
  Vanillaメソッドは、サンプル間で新しいトークンの数が一貫していることを保証するために、パディングトークンを追加する。 本稿では,メモリや計算のオーバーヘッドを増大させることなく,異なるサンプルで受け入れられる不整合トークンの問題を解決する手法を提案する。 提案手法は, パディングトークンを追加することなく, 異なるサンプルの予測トークンが矛盾する状況に対処できる。
  論文  参考訳（メタデータ） (2024-05-13T08:24:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。