論文の概要: Variance Reduction for Non-Log-Concave Sampling with Applications to Inverse Problems

• arxiv url: http://arxiv.org/abs/2606.16257v1
• Date: Mon, 15 Jun 2026 06:01:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.108488
• Title: Variance Reduction for Non-Log-Concave Sampling with Applications to Inverse Problems
• Title（参考訳）: 逆問題に対する非対流型サンプリングのばらつき低減
• Authors: M. Berk Sahin, Ahmet Ege Tanriverdi, Behzad Sharif, Abolfazl Hashemi,
• Abstract要約: 固定縮小反復で高分散を示す勾配を近似できることを示す。 我々は、この理論を2次元イメージングにおける逆の先行問題を解くために拡張する。
• 参考スコア（独自算出の注目度）: 7.041502953437834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling from high-dimensional, non-log-concave distributions with unnormalized densities is a fundamental challenge in machine learning, particularly when the exact gradient of the potential is unavailable and must be approximated via stochastic gradients that exhibit high variance under a fixed budget of gradient computations per iteration. Although variance reduction techniques such as SGD with momentum, STORM, and PAGE have demonstrated improved convergence properties in non-convex optimization, their implications for sampling from non-log-concave distributions remain largely unexplored. In this work, we develop the first unified analysis of these estimators for sampling from non-log-concave distributions. We establish improved non-asymptotic convergence rates in $\varepsilon$-relative Fisher information and, under a Poincaré inequality assumption, in squared total variation distance, and further prove weak convergence to the target distribution. We extend our analysis to solving inverse problems with score-based generative priors. We empirically validate our theory and demonstrate that, under a fixed gradient computations per iteration, variance-reduction techniques consistently improve sample quality in two standard imaging applications.
• Abstract（参考訳）: 非正規化密度の高次元非対数分布からサンプリングすることは、特にポテンシャルの正確な勾配が不可能であり、反復毎の勾配計算の固定予算の下で高い分散を示す確率勾配によって近似する必要がある場合、機械学習における基本的な課題である。 運動量を持つSGD,STORM,PAGEなどの分散低減技術は,非凸最適化における収束性の向上を実証しているが,非対数分布からのサンプリングに対するその影響は未解明のままである。 本研究は,非対数圏分布から抽出するこれらの推定器を統一的に解析する手法である。 我々は、$\varepsilon$-relative Fisher情報およびポアンカレの不等式仮定の下で、正方形全変動距離において改善された非漸近収束率を確立し、さらにターゲット分布への弱い収束を証明した。 我々は分析を、スコアに基づく生成前の逆問題に拡張する。 我々は,本理論を実証的に検証し,各イテレーション毎の一定の勾配計算により,2つの標準画像アプリケーションにおけるサンプル品質が一貫して向上することが実証された。

関連論文リスト

• Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems [7.692336118507715]
  Langevin dynamicsは、勾配がアクセス可能な場合にサンプリングするための原則化されたフレームワークを提供する。 高いばらつきに悩まされ、非log-concaveサンプリングの非漸近収束保証が欠如している。 分散還元ゼロ階Langevinサンプリング法を提案する。 ゼロ階非log-concaveサンプリングのための最初の非漸近収束保証を確立する。
  論文  参考訳（メタデータ） (2026-05-28T21:07:14Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization [8.784017987697688]
  分散ロバストな最適化は、機械学習におけるモデル適合のための魅力的なフレームワークを提供する。 本研究では, エントロピーな平滑化が元の目的のサンプリングに基づく近似を導出する正規化問題について検討する。
  論文  参考訳（メタデータ） (2025-06-05T12:21:44Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• An Inexact Halpern Iteration with Application to Distributionally Robust Optimization [8.722877733571796]
  不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。 本稿では,データ駆動型分散ロバスト最適化の2つのクラスを解くために,提案手法をいかに適用できるかを示す。
  論文  参考訳（メタデータ） (2024-02-08T20:12:47Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。