論文の概要: Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems

• arxiv url: http://arxiv.org/abs/2605.30573v1
• Date: Thu, 28 May 2026 21:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.234901
• Title: Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems
• Title（参考訳）: 可変化によるゼロ次非対数サンプリングと逆問題への応用
• Authors: M. Berk Sahin, Behzad Sharif, Abolfazl Hashemi,
• Abstract要約: Langevin dynamicsは、勾配がアクセス可能な場合にサンプリングするための原則化されたフレームワークを提供する。 高いばらつきに悩まされ、非log-concaveサンプリングの非漸近収束保証が欠如している。 分散還元ゼロ階Langevinサンプリング法を提案する。 ゼロ階非log-concaveサンプリングのための最初の非漸近収束保証を確立する。
• 参考スコア（独自算出の注目度）: 7.692336118507715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling from high-dimensional, non-log-concave distributions with unnormalized densities remains a fundamental challenge in machine learning, particularly in black-box settings where gradient information is inaccessible or computationally prohibitive. While Langevin dynamics provides a principled framework for sampling when gradients are accessible, its extension to the black-box settings suffers from high variance and lacks non-asymptotic convergence guarantees for non-log-concave sampling. To address these limitations, we propose a variance-reduced zeroth-order Langevin sampling method. Our method employs a gradient estimator that substantially reduces the variance of the classical batched zeroth-order estimator and eliminates the unfavorable dimensional dependence of the batch size required for accurate estimation, enabling practical and stable sampling. We establish the first non-asymptotic convergence guarantees for zeroth-order non-log-concave sampling in terms of $\varepsilon$-relative Fisher information, and, under a Poincaré inequality assumption, squared total variation distance. We further propose ZO-APMC, a posterior sampling algorithm for black-box inverse problems with pre-trained score-based generative priors, establishing the first non-asymptotic convergence guarantees for such methods. We validate our theory through synthetic experiments and demonstrate strong empirical performance on practical linear and nonlinear inverse problems.
• Abstract（参考訳）: 正規化されていない密度を持つ高次元の非対数分布からサンプリングすることは、特に勾配情報がアクセス不能または計算的に禁止されるブラックボックス設定において、機械学習の基本的な課題である。 ランゲヴィン力学は勾配がアクセス可能なときにサンプリングするための原則化されたフレームワークを提供するが、ブラックボックス設定への拡張は高いばらつきに悩まされ、非ログ凹型サンプリングの非漸近収束保証が欠如している。 これらの制約に対処するため、分散還元ゼロ階ランゲヴィンサンプリング法を提案する。 本手法では,古典的バッチ化ゼロ階数推定器のばらつきを著しく低減し,精度の高い推定に要するバッチサイズの不都合な次元依存性を排除し,実用的で安定したサンプリングを可能にする勾配推定器を用いる。 非漸近収束保証法として,0次非対数圏サンプリングを$\varepsilon$-relative Fisher情報を用いて確立し,ポアンカレの不等式仮定の下で全変動距離を2乗した。 さらに,事前学習したスコアベース生成前のブラックボックス逆問題に対する後方サンプリングアルゴリズムZO-APMCを提案する。 我々は,本理論を合成実験により検証し,実線型および非線形逆問題に対して強い経験的性能を示す。

関連論文リスト

• Constrained Stochastic Spectral Preconditioning Converges for Nonconvex Objectives [48.91820744387913]
  我々は,Muon と Scions に着目した事前条件付き勾配法を開発した。 我々は,様々な凸や非還元制約を扱えるアルゴリズム群を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T09:36:13Z)
• Dual-space posterior sampling for Bayesian inference in constrained inverse problems [5.739708455652395]
  偏微分方程式によって制約される逆問題はしばしば、ノイズや不完全データ、あるいは固有の非特異性によって不等式化される。 本研究では,波動方程式などの厳密な物理的制約を,既存のサンプリング手法に適合する事前分布に翻訳する手法を開発した。
  論文  参考訳（メタデータ） (2026-02-28T00:34:31Z)
• On the Sample Complexity of Learning for Blind Inverse Problems [8.091533689145908]
  ブラインド逆問題(Blind inverse problem)は、フォワード作用素が部分的にあるいは完全に未知な多くの実験的な設定で生じる。 データ駆動型アプローチは、強い経験的性能と適応性を示す、視覚的逆問題に対処するために提案されている。 線形最小平均正方形推定器の簡易かつ洞察力に富んだフレームワークにおいて、視覚的逆問題における学習に光を当てた。
  論文  参考訳（メタデータ） (2025-12-29T11:53:37Z)
• Generative diffusion for perceptron problems: statistical physics analysis and efficient algorithms [2.860608352191896]
  高次元極限における非数値重み付きパーセプトロン問題のランダムな例を考察する。 我々は、生成アルゴリズムを用いて近似サンプリング空間を予測するためのレプリカ理論に基づくフォーマリズムを開発する。
  論文  参考訳（メタデータ） (2025-02-22T16:43:01Z)
• Taming Score-Based Diffusion Priors for Infinite-Dimensional Nonlinear Inverse Problems [4.42498215122234]
  本研究では,関数空間におけるベイズ逆問題の解法を提案する。 可能性の対数共空性は仮定せず、非線型逆問題と互換性がある。 従来の正規化法で確立された固定点法に着想を得た新しい収束解析を行う。
  論文  参考訳（メタデータ） (2024-05-24T16:17:01Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• An adjoint-free algorithm for conditional nonlinear optimal perturbations (CNOPs) via sampling [5.758073912084367]
  我々は、条件付き非線形最適摂動(CNOP)を得るための最先端統計機械学習技術に基づくサンプリングアルゴリズムを提案する。 サンプリング手法は、目的関数値(ゼロ次情報)への勾配を直接減少させる 本研究では, 空間パターン, 目的値, 定量化計算時間, 非線形誤差成長を用いて得られたCNOPを実証する。
  論文  参考訳（メタデータ） (2022-08-01T16:07:22Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。