論文の概要: From Denoising Dynamics to Endpoint Uncertainty in Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2610.35425v1
• Date: Mon, 26 Oct 2026 13:31:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.010376
• Title: From Denoising Dynamics to Endpoint Uncertainty in Diffusion Language Models
• Title（参考訳）: 拡散言語モデルにおけるデノジングダイナミクスからエンドポイント不確かさへ
• Abstract要約: 4つの推論ベンチマークを用いて4つのマスク付き拡散言語モデルについて検討する。 最終的な出力の安定な分解能を示す曲線の下の領域として,インバーラン濃度を測定した。 終端分布の不確実性を測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive uncertainty in stochastic language-model inference can be characterized by repeatedly sampling an input and measuring the distribution of outputs. This requires multiple complete generations. Masked diffusion language models expose another source of information: the evolution of the output during denoising. We ask whether convergence within diffusion trajectories is associated with uncertainty across their final outputs, or endpoints. We study four masked diffusion language models on four reasoning benchmarks, collecting 20 generations per question and 32,000 denoising trajectories in total. Within each trajectory, we measure within-run concentration as the area under the curve describing stable resolution of the eventual output. Across repeated trajectories, we measure endpoint-distribution uncertainty. Stronger within-run concentration is associated with lower endpoint entropy after accounting for model and dataset ($β=-0.222$, $p<10^{-25}$). This association persists for multi-token outputs and when reweighting positive-entropy cases. The relationship is asymmetric: high within-run concentration almost exclusively accompanies concentrated endpoint distributions, whereas lower concentration occurs under both concentrated and competing endpoint regimes. This relationship strengthens as denoising proceeds. Features from a single denoising run predict whether independent held-out runs will concentrate on a common endpoint or produce competing endpoints. These results connect dynamics within individual denoising runs to variability across repeated inference. Within-trajectory dynamics contain information about whether independent repetitions will concentrate on a common endpoint or produce competing endpoints, providing a route towards estimating endpoint-distribution properties with fewer complete generations.
• Abstract（参考訳）: 確率的言語モデル推論における予測的不確実性は、繰り返し入力をサンプリングし、出力の分布を測定することで特徴付けられる。 これは複数の完全世代を必要とする。 仮面拡散言語モデルはまた別の情報ソース、すなわちデノイング時の出力の進化を公開している。 拡散軌道内の収束が最終出力における不確実性や終端に関係しているかどうかを問う。 本研究では,4つの推論モデルを用いて4つのマスク付き拡散言語モデルについて検討し,20世代毎の問合せ,合計32,000のデノベーショントラジェクトリを抽出した。 各トラジェクトリ内では、最終的な出力の安定な解像度を示す曲線の下の領域として、インバーラン濃度を測定する。 終端分布の不確実性を測定する。 モデルおよびデータセット(β=-0.222$, $p<10^{-25}$)を経た後、より強い内部濃度は低いエンドポイントエントロピーと関連している。 この結合は、マルチトーケン出力と正エントロピーの場合の再重み付け時に持続する。 この関係は非対称であり、高濃度は集中したエンドポイント分布とほぼ同伴するが、低い濃度は集中したエンドポイント状態と競合するエンドポイント状態の両方で起こる。 この関係はデノベーションが進むにつれて強化される。 独立したホールトアウト実行が共通のエンドポイントに集中するか、競合するエンドポイントを生成するかを予測する。 これらの結果は、個別の認知ラン内のダイナミクスを、繰り返しの推論における可変性に結び付ける。 軌道内ダイナミクスには、独立した反復が共通のエンドポイントに集中するか、競合するエンドポイントを生成するかの情報が含まれており、完全な世代が少ないエンドポイント分布特性を推定するためのルートを提供する。

関連論文リスト

• LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling [52.65086457153841]
  連続拡散モデルは、連続的な埋め込み空間上でのテキスト生成のための有望な非自己回帰パラダイムとして登場した。 本稿では,ノルム崩壊の埋め込みによりユークリッド距離が急激なオーバーテイクをもたらすことを示す。 競合閾値理論(CTT)としてこれらのペアワイズ力学を定式化する。 コンペティブル・アウェア・セマンティック・スケジューリングを利用した生成フレームワークであるLLaCOを紹介する。
  論文  参考訳（メタデータ） (2026-10-23T13:28:40Z)
• The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges [4.661816556403101]
  弱正則性仮定の下での一般的な汚職核について、これは条件付き終点族のフィッシャー・ラオ計量のトレースであることを示す。 この結果は、過度な経路空間相対エントロピーとして理想的目的が生じるシュル・オーディンガー橋変分原理から導かれる。
  論文  参考訳（メタデータ） (2026-08-24T23:48:06Z)
• Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation [55.47411235954028]
  マスク観測による密度推定では,不規則に不規則に不規則な計算を行う。 我々は,ニュートン内点法で解ける閉じた形状の辺縁を持つ凸型経験的リスク問題を得る。 結果のPSDインプットモデルでは、同一の入射密度から単一および多重インプットが得られる。
  論文  参考訳（メタデータ） (2026-07-08T15:51:05Z)
• A Mutual Information Lower Bound for Multimodal Regression Active Learning [9.04041860173466]
  Mutual Information Lower Bound (MI-LB) は、Mixture Network アンサンブルのクローズドフォーム近似である。 我々は,MI-LBがマルチモーダルシステムを備えたベンチマークで評価されたベースラインのすべてに一致または打ち勝つことを示す。
  論文  参考訳（メタデータ） (2026-05-14T14:50:47Z)
• Training-Free Generative Sampling via Moment-Matched Score Smoothing [0.6015898117103069]
  拡散モデルは、摂動対象分布のスコアに沿ってデノイングすることでサンプルを生成する。 最近の研究は、スコアマッチングが暗黙的に経験的なスコアを滑らかにすることを示唆している。 モーメントマッチングされたスコアスムーズなランゲヴィンダイナミクスを提案する。
  論文  参考訳（メタデータ） (2026-05-14T02:20:36Z)
• Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models [54.16797570104461]
  拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。 時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
  論文  参考訳（メタデータ） (2026-04-12T10:26:41Z)
• Diffusion Models are Molecular Dynamics Simulators [0.0]
  バッチ次元に逐次バイアスを付与したデノナイズ拡散サンプリング器が,ランゲヴィン力学を過度に破壊するオイラー・丸山積分器であることを証明した。 各逆消音ステップは、その関連するばね剛性を伴って、ノイズスケジュールとその剛性とで協調して設定された有効時間ステップを有する微分方程式の一段階と解釈することができる。 学習したスコアは、学習したエネルギーの勾配の役割を担い、拡散サンプリングとランゲヴィン時間進化の正確な対応を与える。
  論文  参考訳（メタデータ） (2025-11-21T19:48:32Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
  GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。 フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。 我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-06-05T20:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。