論文の概要: Self-Repulsive Sampling for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.39560v1
• Date: Wed, 30 Sep 2026 11:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.634867
• Title: Self-Repulsive Sampling for Diffusion Language Models
• Title（参考訳）: 拡散言語モデルのための自己反発型サンプリング
• Abstract要約: Self-Repulsion (SR) は、マスク付き拡散言語モデルのサンプルである。 パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。 投票の得票率は、主に正しい回答のより高いカバレッジから生じる。
• 参考スコア（独自算出の注目度）: 42.61658629762382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling several responses and voting over their answers can improve a language model's accuracy, but repeated answers limit the benefit of additional samples. Raising temperature increases diversity at a potential cost to per-sample accuracy. We introduce Self-Repulsion (SR), a sampler for masked diffusion language models that uses peer commitments to diversify the pool. At each penalized denoising step, each path lowers a token's logit according to how many peers have committed that token at the same position. Paths share a batched forward pass and then commit in sequence, so later paths observe choices made earlier in the same step. This coupling requires no training or additional forward or backward pass and can produce distinct paths even at temperature zero. When all paths commit a position together from identical logits, the update exactly maximizes total logit minus a convex duplication cost. On LLaDA-8B-Instruct with ten paths and 128 denoising steps, deterministic SR reaches 80.38% plurality accuracy on GSM8K, compared with 70.17% for the unpenalized greedy decoder. At temperature 0.6 and matched model-evaluation budgets, the count penalty improves over self-consistency by 2.06 percentage points in blocks of 32 and 14.50 under pure diffusion. Experiments on GSM8K, MATH and TruthfulQA show that voting gains arise mainly from higher coverage of correct answers, with gains that vary by benchmark and decoding regime.
• Abstract（参考訳）: いくつかの回答をサンプリングし、その回答を投票することで、言語モデルの精度が向上するが、繰り返し答えは追加のサンプルの利点を制限する。 温度上昇は、サンプルごとの精度を高めるために潜在的なコストで多様性を増大させる。 本稿では、プールの多様化にピアコミットメントを利用する、マスク付き拡散言語モデルのサンプルであるセルフ・リパルス(SR)を紹介する。 各ペナライズド・デノナイジングステップでは、各パスが同じ位置でトークンをコミットしたピア数に応じてトークンのロジットを下げる。 パスはバッチ化されたフォワードパスを共有し、次に順番にコミットする。 この結合は、トレーニングや追加の前方または後方パスを必要とせず、温度0でも異なる経路を生成できる。 すべてのパスが同一のロジットから同じ位置をコミットすると、更新は全ロジットを正確に最大化し、凸重複コストを下げる。 LLaDA-8B-Instruct with ten paths and 128 denoising steps, Deterministic SR reach 80.38% multiple accuracy on GSM8K, with 70.17% for the unpenalized greedy decoder。 温度0.6とモデル評価予算が一致し、純拡散条件下では、カウントペナルティは32ブロックと14.50ブロックで自己整合性よりも2.06ポイント向上する。 GSM8K, MATH, TruthfulQAの実験では、投票の得票率は、主に正しい回答のカバレッジの向上から発生し、ベンチマークや復号方式によって異なる。

関連論文リスト

• Simplex Diffusion Models [70.25963134099172]
  本稿では,拡散過程を確率的単純度に引き上げて,カテゴリに対する信念を表現する枠組みを提案する。 SDMは単純度上のサンプルで動作するため、デノナイジングステップをまたいで不確実性を持ち、情報の崩壊を軽減できる。
  論文  参考訳（メタデータ） (2026-09-28T16:26:29Z)
• From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion [5.2262942936091905]
  均一状態の離散拡散モデルは、すべての位置を変更可能にしながら、すべてのトークンを並列に更新する。 我々は、選択したargmaxトークンを格納し、その後のモデル入力に挿入する訓練不要なサンプルである、コミット露光サンプリング(CRS)を提案する。
  論文  参考訳（メタデータ） (2026-09-01T10:43:24Z)
• Improving Few-Step Language Flows with Untied Self-Conditioning [17.95725125716772]
  フローマッチング言語モデルは、すべてのトークン位置を並列に洗練し、遅延のためのサンプリングステップを交換することができる。 我々は、この劣化の原因を、前述の自己条件における列車間ミスマッチに遡る。 このミスマッチは、自己条件入力とソルバ更新の両方を劣化させ、モデル自身の構造から各修正を導出することを示す。
  論文  参考訳（メタデータ） (2026-08-23T06:46:17Z)
• Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
  言語モデルは、進行中の計算の質を読み取ることができるか? 外部介入は、その読み出しをより良い結果に変えることができるか? 凍結した2.6Bループ変換器,Ouro-RLTTで両質問を検証した。
  論文  参考訳（メタデータ） (2026-07-20T22:40:36Z)
• Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
  自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
  論文  参考訳（メタデータ） (2026-06-22T16:32:25Z)
• Re-feeding Is Not Replaying: Measuring Replay Noise in Counterfactual Token-Credit Estimation [0.0]
  言語モデルのロールアウトにおいて、どのトークンが最終回答が正しいか間違っているかを尋ねる。 我々は、この仮定がストック推論エンジンのコストを3パスの設計で測定する。 6つの構成と3つのモデルにまたがって、リフィーディングはレプリカフロアよりも14-28ポイント高いレートでクレジットの見積もりを変更する。
  論文  参考訳（メタデータ） (2026-06-14T06:09:16Z)
• LaTER: Efficient Test-Time Reasoning via Latent Exploration and Explicit Verification [35.08680804423239]
  CoT(Chain-of- Thought)推論は、難しいタスクにおいて大きな言語モデル(LLM)を改善するが、推論コストも高くつく。 本稿では,連続潜伏空間における有界探索を最初に行う2段階のパラダイムであるLaTERを提案する。 LaTERは入力の埋め込み空間に隠された最後の層を投影し、潜伏KVキャッシュを保持し、エントロピーとモデルネイティブのストップトーケンプローブを使用していつ切り替えるかを決定する。
  論文  参考訳（メタデータ） (2026-05-08T06:23:58Z)
• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• dVoting: Fast Voting for dLLMs [71.572316901001]
  拡散大言語モデル(dLLMs)は自己回帰モデリングを超えた新しいパラダイムである。 dLLMは任意の位置で任意のトークンを並列に生成できるため、並列テストタイムスケーリングには大きな可能性がある。 トレーニングなしで推論能力を高める高速投票手法であるdVotingを導入する。
  論文  参考訳（メタデータ） (2026-02-12T16:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。