論文の概要: Understanding Parallel Samplers in Masked Diffusion via Random Walks on Graphs

• arxiv url: http://arxiv.org/abs/2606.22976v1
• Date: Mon, 22 Jun 2026 07:56:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 03:07:55.583077
• Title: Understanding Parallel Samplers in Masked Diffusion via Random Walks on Graphs
• Title（参考訳）: グラフ上のランダムウォークによる仮設拡散における並列サンプリングの理解
• Authors: Vansh Bansal, Cho Cholyeon, Syamantak Kumar, Sujay Sanghavi, Purnamrita Sarkar,
• Abstract要約: グラフ上のランダムウォークを検証可能なサンドボックスとして使用し、マスク拡散モデルにおける異なる並列サンプリング戦略を研究する。 我々はランダムウォークのための新しい2分割サンプリング装置を開発し、配列長の対数ステップを踏むことができ、完全に訓練された状態では確実に正確である。 事前訓練した OpenWebText MDM に関する最初の実験では,バイセクションスタイルのサンプルは,言語生成においても速度品質のトレードオフを改善することがわかった。
• 参考スコア（独自算出の注目度）: 21.909503091671297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose using random walks on graphs as a verifiable sandbox to study different parallel sampling strategies in masked diffusion models (MDMs). We train an MDM on random walk samples from a fixed graph. The graph or the transition kernel is never shown to the model explicitly and plays the role of latent structure in the sequences, albeit one that is controllable and can be used for quantitative evaluation. Thus, this framework enjoys a Sudoku-like validity check: verifying that an output is a valid walk and estimating the Markov kernel from the walks to measure distribution fidelity. Using simple graphs, we theoretically prove that parallel unmasking via widely used scores like lowest entropy is not uniformly better than a random parallel sampler; the performance critically depends on the structure of the underlying graph. We develop a new bisection sampler for random walks, which takes logarithmic steps in the sequence length and is provably exact under perfect training. Experiments on various graph walk tasks show that different parallel samplers are better for different graphs even in practice. Our initial experiments on a pretrained OpenWebText MDM show that the bisection-style samplers improve speed-quality tradeoffs even for language generation. Together, these results position graph random walks as a mechanistic benchmark for diagnosing and designing parallel samplers for masked diffusion models.
• Abstract（参考訳）: 本稿では,グラフ上のランダムウォークを検証可能なサンドボックスとして使用し,マスク拡散モデル(MDM)の異なる並列サンプリング戦略について検討する。 固定グラフからランダムウォークサンプルを用いてMDMを訓練する。 グラフや遷移カーネルはモデルに明示的に表示されず、シーケンスにおいて潜在構造の役割を担っているが、制御可能であり、定量的評価に使用できる。 このように、このフレームワークは、出力が有効なウォークであることを検証し、そのウォークからマルコフカーネルを推定し、分布の忠実度を測定する。 単純なグラフを用いて、最小エントロピーのような広く使われているスコアによる並列アンマスキングが、ランダムな並列サンプリングよりも一様ではないことを理論的に証明する。 我々はランダムウォークのための新しい2分割サンプリング装置を開発し、配列長の対数ステップを踏むことができ、完全に訓練された状態では確実に正確である。 様々なグラフウォークタスクの実験では、実際には異なるグラフに対して異なる並列サンプリングがより優れていることが示されている。 事前訓練した OpenWebText MDM に関する最初の実験では,バイセクションスタイルのサンプルは,言語生成においても速度品質のトレードオフを改善することがわかった。 これらの結果と合わせて、マスキング拡散モデルのための並列サンプリング器の診断および設計のための力学ベンチマークとしてグラフランダムウォークが位置づけられる。

関連論文リスト

• Learning Generation Orders for Masked Discrete Diffusion Models via Variational Inference [19.909302863724758]
  マスク付き離散拡散モデル(MDMs)は、生成的モデリングに対する有望な新しいアプローチである。 MDMの並列生成順序を学習するための変分推論フレームワークを提案する。 提案手法は, 平均4段階の精度で33.1%の精度を達成し, 標準競合法では23.7～29.0%の精度を同じステップ数で達成した。
  論文  参考訳（メタデータ） (2026-02-27T12:26:19Z)
• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Efficient Estimation of Shortest-Path Distance Distributions to Samples in Graphs [14.492861079799516]
  本稿では,最短経路距離の分布を推定するための高精度かつ効率的なフレームワークを提案する。 我々のフレームワークは経験的手法よりも高速で、次数分布の仕様しか必要としない。
  論文  参考訳（メタデータ） (2025-02-21T19:21:21Z)
• Sparse Training of Discrete Diffusion Models for Graph Generation [45.103518022696996]
  SparseDiffは、ほとんど全ての大きなグラフがスパースであるという観察に基づく、新しい拡散モデルである。 エッジのサブセットを選択することで、SparseDiffは、ノイズ発生過程とノイズ発生ネットワーク内のスパースグラフ表現を効果的に活用する。 本モデルでは,小規模・大規模両方のデータセットにおいて,複数のメトリクスにわたる最先端性能を示す。
  論文  参考訳（メタデータ） (2023-11-03T16:50:26Z)
• On the Equivalence of Graph Convolution and Mixup [70.0121263465133]
  本稿では,グラフ畳み込みと混合手法の関係について検討する。 2つの穏やかな条件の下では、グラフの畳み込みはMixupの特別な形式と見なすことができる。 グラフ畳み込みネットワーク(GCN)と単純化グラフ畳み込み(SGC)をミックスアップの形で表現できることを証明し、数学的にこの等価性を確立する。
  論文  参考訳（メタデータ） (2023-09-29T23:09:54Z)
• Sample and Predict Your Latent: Modality-free Sequential Disentanglement via Contrastive Estimation [2.7759072740347017]
  外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。 実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。 提案手法は,既存の手法と比較して最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-05-25T10:50:30Z)
• The Boomerang Sampler [4.588028371034406]
  本稿では, 連続時間非可逆マルコフ連鎖モンテカルロアルゴリズムの新たなクラスとして, ブーメラン・サンプラーを導入する。 提案手法は実装が容易であることを実証し,既存のベンチマークを断片的決定論的マルコフプロセスより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-24T14:52:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。