論文の概要: Search or Accelerate: Confidence-Switched Position Beam Search for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2602.10953v1
• Date: Wed, 11 Feb 2026 15:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:02.064371
• Title: Search or Accelerate: Confidence-Switched Position Beam Search for Diffusion Language Models
• Title（参考訳）: 探索・加速:拡散言語モデルにおける信頼交換位置ビーム探索
• Authors: Mingyu Cao, Alvaro Correia, Christos Louizos, Shiwei Liu, Lu Yin,
• Abstract要約: 拡散言語モデルは、マスキングシーケンスを反復的に認知することでテキストを生成する。 標準復号法は強欲な規則に従っており、最も自信のある位置を解き放つ。 トレーニング不要なデコードアルゴリズムであるSOARをモデルの不確実性に適応させる。
• 参考スコア（独自算出の注目度）: 24.78455014605002
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion Language Models (DLMs) generate text by iteratively denoising a masked sequence, repeatedly deciding which positions to commit at each step. Standard decoding follows a greedy rule: unmask the most confident positions, yet this local choice can lock the model into a suboptimal unmasking order, especially on reasoning-heavy prompts. We present SOAR, a training-free decoding algorithm that adapts its behavior to the model's uncertainty. When confidence is low, SOAR briefly widens the search over alternative unmasking decisions to avoid premature commitments; when confidence is high, it collapses the search and decodes many positions in parallel to reduce the number of denoising iterations. Across mathematical reasoning and code generation benchmarks (GSM8K, MBPP, HumanEval) on Dream-7B and LLaDA-8B, SOAR improves generation quality while maintaining competitive inference speed, offering a practical way to balance quality and efficiency in DLM decoding.
• Abstract（参考訳）: 拡散言語モデル(DLM)は、反復的にマスキングシーケンスをデノベートしてテキストを生成し、各ステップでどの位置をコミットするかを繰り返す。 標準的な復号法は強欲な規則に従っている: 最も自信のある位置を解き放つが、この局所的な選択は、特に推論重なプロンプトにおいて、モデルを最適以下のアンマスク順序にロックすることができる。 トレーニング不要なデコードアルゴリズムであるSOARをモデルの不確実性に適応させる。 信頼度が低い場合には、SOARは、早期のコミットメントを避けるために、代替のアンマスク決定に対する検索を一時的に拡大します。 Dream-7BとLLaDA-8Bの数学的推論とコード生成ベンチマーク(GSM8K、MBPP、HumanEval)全体で、SOARは競合する推論速度を維持しながら生成品質を改善し、DLM復号における品質と効率のバランスをとる実用的な方法を提供する。

関連論文リスト

• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
  本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。 WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2025-12-28T01:25:48Z)
• Diffusion Language Model Inference with Monte Carlo Tree Search [22.7649405246503]
  拡散言語モデル (DLMs) は自己回帰生成の魅力的な代替手段として登場した。 本稿では,DLM推論の原理的探索機構であるMEDALを紹介する。 複数のベンチマークで、MEDALは既存の推論戦略よりも最大22.0%改善されている。
  論文  参考訳（メタデータ） (2025-12-13T04:30:02Z)
• Lookahead Unmasking Elicits Accurate Decoding in Diffusion Language Models [51.12873073612084]
  Masked Diffusion Models (MDM) は、反復的にトークンをアンマキングすることで生成される言語モデルであるが、その性能はアンマキングの推測時間順序に依存する。 提案するLookUM(LookUM)は,これらの問題に対処し,サンプリングを可能な全注文に対して経路選択として再構成する。 LookUMはピーク性能を達成するために2～3つの経路しか必要とせず、極めて効率的な経路選択を示す。
  論文  参考訳（メタデータ） (2025-11-04T02:37:37Z)
• Saber: An Efficient Sampling with Adaptive Acceleration and Backtracking Enhanced Remasking for Diffusion Language Model [98.35868970993232]
  拡散言語モデル(DLM)は、支配的な自己回帰パラダイムに代わる強力で有望な選択肢として現れています。 コード生成における推論速度と出力品質の向上を実現するために,適応加速度を用いた効率的なサンプリングとバックトラック強化リマッシング(セイバー)を導入する。
  論文  参考訳（メタデータ） (2025-10-20T23:38:12Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models [13.575063025878208]
  マスク付き拡散言語モデルは高速で非自己回帰的なテキスト生成を約束する。 モデルの信頼性に基づいてアンマスクするトークンを選択する既存のサンプルは、複数の位置を並列にアンマスクする際のインタラクションを無視する。 DUS(Dilated Unmasking Scheduler)は、列位置を非隣接拡張群に分割し、それらを並列に分割する推論のみのプランナーフリーな手法である。
  論文  参考訳（メタデータ） (2025-06-23T18:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。