論文の概要: Sampling Data with Chains of Forward-Backward Diffusion Steps

• arxiv url: http://arxiv.org/abs/2605.27006v1
• Date: Tue, 26 May 2026 13:26:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.185779
• Title: Sampling Data with Chains of Forward-Backward Diffusion Steps
• Title（参考訳）: 前向き拡散ステップの連鎖によるデータサンプリング
• Authors: Hyunmo Kang, Noam Itzhak Levi, Corinna Elena Wegner, Daniel J. Korchinski, Matthieu Wyart,
• Abstract要約: U-ターン連鎖を導入し、各ステップが学習したデータ多様体に残る動きを提案する。 我々は,データ多様体の断片化によるエルゴディディディティ破りの相転移を最小のUターンダイナミクスで行うことを示す。 拡散モデルを用いたサンプリングにおけるこれらの結果の影響について論じる。
• 参考スコア（独自算出の注目度）: 7.829352305480285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling from learned high-dimensional distributions is a foundational computational problem. We introduce U-turn chains: Markov chains obtained by iterating short forward-backward steps of a diffusion model, in which each step proposes a move that remains on the learned data manifold and, paired with a Metropolis-Hastings correction, samples from energy-modified targets. For synthetic languages, we show that minimal U-turn dynamics undergoes an ergodicity-breaking phase transition driven by fragmentation of the data manifold; ergodicity is restored at larger U-turn magnitude. In the non-ergodic regime, low-level features relax faster than high-level ones, an ordering that inverts only at sufficiently large U-turn magnitude. We test these predictions on natural language and natural images. In both modalities, minimal U-turns relax slowly, especially for high-level features approximated by deep representations in CNNs or LLMs. The layer-ordering inversion appears only at large noise when mixing is efficient -- signatures consistent with strongly constrained, weakly mixing local dynamics. We discuss the implications of these results for sampling with diffusion models.
• Abstract（参考訳）: 学習した高次元分布からサンプリングすることは基礎的な計算問題である。 拡散モデルの短い前後ステップを反復して得られるマルコフ連鎖は、各ステップが学習データ多様体上に残る動きを提案し、エネルギー修正対象からのサンプルであるメトロポリス・ハスティングス補正と組み合わせる。 合成言語の場合、最小のUターンダイナミクスはデータ多様体の断片化によって引き起こされるエルゴディディティ破りの相転移であり、エルゴディティはより大きなUターンサイズで復元される。 非エルゴード系では、低レベルな特徴は高レベルな特徴よりも速くリラックスし、十分なUターン等級でのみ逆転する順序である。 我々はこれらの予測を自然言語と自然言語で検証する。 両方のモードにおいて、最小のUターンは、特にCNNやLLMのディープ表現によって近似された高次特徴に対して緩やかに緩和される。 層次反転は、混合が効率的であるときにのみ大きなノイズで現れる -- 強い制約付き、弱い混合局所力学と整合するシグネチャ。 拡散モデルを用いたサンプリングにおけるこれらの結果の影響について論じる。

関連論文リスト

• Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models [58.946955321428845]
  本研究は自己回帰型モンテカルロ(SMC)を提示する。 提案アルゴリズムは,既存のMDLMのほとんどが信頼性に基づくサンプリング戦略に依存している点に起因している。 粒子重み付けのための自己回帰信号として軌道レベルの信頼性を導入する。
  論文  参考訳（メタデータ） (2026-02-02T09:21:45Z)
• Tracing the Representation Geometry of Language Models from Pretraining to Post-training [22.18942718274405]
  本研究では,事前学習と後学習にまたがる学習表現の幾何学をスペクトル的に検討する。 自己回帰事前学習中に3つの幾何位相の一貫した非単調列が発見された。 SFTとDPOは、特定の命令データや優先データを統合するために「エントロピー探索」ダイナミクスを駆動します。
  論文  参考訳（メタデータ） (2025-09-27T00:46:29Z)
• A solvable generative model with a linear, one-step denoiser [0.0]
  本研究では,線形デノイザに基づく解析的抽出可能な単一ステップ拡散モデルを開発し,Kulback-Leibler分散の明示的な公式を示す。 大規模実用拡散モデルでは、拡散段数の増加が生産品質を高める理由を説明する。
  論文  参考訳（メタデータ） (2024-11-26T19:00:01Z)
• Boosting Diffusion Models with Moving Average Sampling in Frequency Domain [101.43824674873508]
  拡散モデルは、現在のサンプルに頼って次のサンプルをノイズ化し、おそらく不安定化を引き起こす。 本稿では,反復的復調過程をモデル最適化として再解釈し,移動平均機構を利用して全ての先行サンプルをアンサンブルする。 周波数領域における平均サンプリング(MASF)の動作」という完全なアプローチを命名する。
  論文  参考訳（メタデータ） (2024-03-26T16:57:55Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
  本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。 計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。 我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
  論文  参考訳（メタデータ） (2023-06-09T07:02:43Z)
• Diffusion Posterior Sampling for General Noisy Inverse Problems [50.873313752797124]
  我々は、後方サンプリングの近似により、雑音(非線形)逆問題に対処するために拡散解法を拡張した。 本手法は,拡散モデルが様々な計測ノイズ統計を組み込むことができることを示す。
  論文  参考訳（メタデータ） (2022-09-29T11:12:27Z)
• Reconstructing the Universe with Variational self-Boosted Sampling [7.922637707393503]
  ハミルトニアン・モンテカルロ (HMC) のような伝統的なアルゴリズムは、相関サンプルを生成するために計算的に非効率である。 本稿では,両アルゴリズムの欠点を軽減するために,変分自己ブーストサンプリング(VBS)と呼ばれるハイブリッド方式を開発する。 VBSは、単純なVIアプローチよりも優れた品質のサンプルを生成し、HMCのみを用いてサンプリングフェーズの相関長を10～50倍に削減する。
  論文  参考訳（メタデータ） (2022-06-28T21:30:32Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。