論文の概要: Gradient-Free Sampling from Generative Models via Stochastic Bounded Extremum Seeking
- arxiv url: http://arxiv.org/abs/2610.04568v1
- Date: Sat, 03 Oct 2026 15:03:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 18:42:23.142528
- Title: Gradient-Free Sampling from Generative Models via Stochastic Bounded Extremum Seeking
- Title（参考訳）: 確率境界極限探索による生成モデルからの勾配自由サンプリング
- Abstract要約: 本研究では,エネルギーおよびスコアに基づく生成モデルに対して,勾配評価を必要としないサンプリング手法を提案する。
我々は、エネルギーベースモデルとスコアベース拡散の逆時間SDEのために、Langevin Markov チェーン Monte Carlo を高周波平均化極限で生成する。
- 参考スコア（独自算出の注目度）: 51.56484100374058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a sampling approach for energy- and score-based generative models that requires no gradient evaluations of the model. Replacing the drift term that would normally contain the score $\nabla_\mathbf{x} \log p_θ(\bf{x})$ with a high-frequency dithered cosine of the model's \textit{value}, $\sqrt{αω}\,\cos(ωt + k \log p_θ(\bf{x}))$, produces, in the high-frequency averaging limit, Langevin Markov chain Monte Carlo for energy-based models and the reverse-time SDE of score-based diffusion. We prove that trajectories of the dithered Itô SDE converge to those of the target SDE, driven by the same Brownian motion, uniformly on compact time intervals in probability, by an averaging argument that extends bounded extremum seeking (ES) to Itô processes, with an explicit $O(ω^{-1/2})$ mean-square rate under global bounds. The approach is not confined to smooth targets: it extends to $C^{1,1}$ energies with discontinuous curvature (without ellipticity requirement) and to Sobolev energies whose Hessians exist only off measure zero sets; for Lipschitz energies with gradient kinks the averaged limit remains well posed; the Krylov-Röckner integrability class is the boundary of provability. The approach provides a hard \textit{a priori} bound on the per-step update rate and applies to explicitly time-varying targets on finite horizons. Gradient-free pixel-space sampling is not competitive with well-tuned backpropagation-based samplers at practical evaluation budgets; the regime where the approach offers an advantage is latent-space sampling when the model is a black box and the target drifts in time. We demonstrate latent-space tracking for time-varying images on CelebA-HQ ($256{\times}256$) from limited 1D projection measurements and latent-space EBM sampling on CIFAR-10.
- Abstract（参考訳）: 本研究では,エネルギーおよびスコアに基づく生成モデルに対して,勾配評価を必要としないサンプリング手法を提案する。
通常、スコア $\nabla_\mathbf{x} \log p_θ(\bf{x})$ を含むドリフト項をモデルの \textit{value}, $\sqrt{αω}\,\cos(ωt + k \log p_θ(\bf{x})$ に置き換えると、高周波数平均極限において、ランゲヴィン・マルコフ連鎖モンテカルロはエネルギーモデルとスコアベースの拡散の逆時間SDEを生成する。
ディザイト SDE の軌跡が、同じブラウン運動によって駆動される対象 SDE の軌道に収束することを証明し、大域的境界の下での平均二乗速度で、有界極小探索 (ES) をイトー過程へ拡張する平均的引数により証明する。
このアプローチは滑らかな対象に制限されない:$C^{1,1}$ 連続曲率の不連続なエネルギー(楕円性要件なしで)と、ヘッセンが測度ゼロ集合からしか存在しないソボレフエネルギーに拡張する; 勾配キンクを持つリプシッツエネルギーに対して、平均極限はよく仮定される; クリロフ=レークナー積分性クラスは可証明性の境界である。
このアプローチは、ステップごとの更新率に縛られるハードな \textit{a priori} を提供し、有限地平線上の時間変化ターゲットに明示的に適用される。
モデルがブラックボックスであり、ターゲットが時間内にドリフトした場合に、アプローチが有利となるのは遅延空間サンプリングである。
我々は, CIFAR-10 上での1次元投影計測と潜時空間 EBM サンプリングから, CelebA-HQ (256{\times}256$) の時間変化画像に対する潜時空間追跡を実証した。
関連論文リスト
- Provable Non-Acceleration of Standard Strang Splittings of Kinetic Langevin Dynamics [0.0]
OBABO や BAOAB のスキームや、ランゲヴィン力学の標準的なストラング分割は、マルコフ連鎖モンテカルロアルゴリズムとして広く使われている。
我々は、曲率境界と次元のみに基づくステップサイズと摩擦の固定的な選択が、この加速度を達成することを証明した。
論文 参考訳（メタデータ） (2026-08-26T01:27:39Z) - LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる
既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。
本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
論文 参考訳（メタデータ） (2026-08-06T04:47:57Z) - Towards Scalable Persistence-Based Topological Optimization [44.16669776030478]
永続性に基づく位相最適化は、点クラウド $X の部分集合 mathbbRd$ を $L(X) = ell(mathrmDgm(X))$ という形の目的を最小化することによって変形する。
実際、最適化は2つの結合した問題によって制限される: 永続ホモロジーは典型的にはサブサンプル上で計算され、結果として生じる位相勾配は非常にスパースであり、非ゼロ更新を受けるアンカーポイントはわずかである。
論文 参考訳（メタデータ） (2026-05-09T15:47:20Z) - Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling [1.439518478021091]
1次最適化フレームワークを考えると、各イテレーションで$K$独立分散データポイントサンプル(すなわち、d.d.)が描画される。
本稿では,ロバストDescent GradientMiniという新しい一階勾配アルゴリズムを提案する。
実験結果から, R-SGD-Mini とそのクリッピング変異体は, Median-of-Means 法と比較して一貫した性能を示した。
論文 参考訳（メタデータ） (2026-05-08T12:01:25Z) - Probabilistic Gaussian Homotopy: A Probability-Space Continuation Framework for Nonconvex Optimization [5.977181405597602]
非ガウス一般化の継続確率である確率的ホモトピー(PGH)を導入する。
PGHはスケール0$で領域を滑らかにし、本来の目的を0$として回復することを示す。
論文 参考訳（メタデータ） (2026-03-13T19:32:29Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳（メタデータ） (2025-07-11T08:00:47Z) - Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳（メタデータ） (2021-12-23T18:47:50Z) - Mean-Square Analysis with An Application to Optimal Dimension Dependence
of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。
我々の理論解析は数値実験によってさらに検証される。
論文 参考訳（メタデータ） (2021-09-08T18:00:05Z) - Unbiased Estimation of the Gradient of the Log-Likelihood for a Class of
Continuous-Time State-Space Models [0.0]
連続時間状態空間モデルのクラスに対する静的パラメータ推定について検討する。
私たちのゴールは、ログライクリフの勾配(スコア関数)の偏りのない推定値を得ることです。
論文 参考訳（メタデータ） (2021-05-24T20:31:48Z) - Faster Convergence of Stochastic Gradient Langevin Dynamics for
Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。
我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文 参考訳（メタデータ） (2020-10-19T15:23:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。