論文の概要: Accelerating Constrained Sampling: A Large Deviations Approach

• arxiv url: http://arxiv.org/abs/2506.07816v1
• Date: Mon, 09 Jun 2025 14:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.0042
• Title: Accelerating Constrained Sampling: A Large Deviations Approach
• Title（参考訳）: 制限付きサンプリングの高速化 - 大規模な逸脱アプローチ
• Authors: Yingli Wang, Changwei Tu, Xiaoyu Wang, Lingjiong Zhu,
• Abstract要約: 本研究は, SRNLD の長期挙動に着目し, RLD にスキュー対称行列を付加する。 本研究では, SRNLD は, このスキュー対称行列を選択することで, RLD と比較して目標分布への収束を加速できることを示す。 提案したスキュー対称行列に基づくSRNLMCの数値実験により,優れた性能を示した。
• 参考スコア（独自算出の注目度）: 11.382163777108385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of sampling a target probability distribution on a constrained domain arises in many applications including machine learning. For constrained sampling, various Langevin algorithms such as projected Langevin Monte Carlo (PLMC) based on the discretization of reflected Langevin dynamics (RLD) and more generally skew-reflected non-reversible Langevin Monte Carlo (SRNLMC) based on the discretization of skew-reflected non-reversible Langevin dynamics (SRNLD) have been proposed and studied in the literature. This work focuses on the long-time behavior of SRNLD, where a skew-symmetric matrix is added to RLD. Although the non-asymptotic convergence analysis for SRNLD (and SRNLMC) and the acceleration compared to RLD (and PMLC) have been studied in the literature, it is not clear how one should design the skew-symmetric matrix in the dynamics to achieve good performance in practice. We establish a large deviation principle (LDP) for the empirical measure of SRNLD when the skew-symmetric matrix is chosen such that its product with the inward unit normal vector field on the boundary is zero. By explicitly characterizing the rate functions, we show that SRNLD can accelerate the convergence to the target distribution compared to RLD with this choice of the skew-symmetric matrix. Numerical experiments for SRNLMC based on the proposed skew-symmetric matrix show superior performance which validate the theoretical findings from the large deviations theory.
• Abstract（参考訳）: 制約領域上の対象確率分布をサンプリングする問題は、機械学習を含む多くのアプリケーションで発生する。 制約サンプリングでは、反射ランゲヴィン力学(RLD)の離散化に基づく射影ランゲヴィンモンテカルロ(PLMC)や、スキュー反射非可逆ランゲヴィンモンテカルロ(SRNLMC)の離散化に基づくスキュー反射ランゲヴィンモンテカルロ(SRNLMC)などの様々なランゲヴィンアルゴリズムが提案され、文献で研究されている。 本研究は, SRNLD の長期挙動に着目し, RLD にスキュー対称行列を付加する。 SRNLD (and SRNLMC) の非漸近収束解析と RLD (and PMLC) に対する加速度解析は文献で研究されているが, 実際に高い性能を達成するためには, 動的にスキュー対称行列をどう設計すべきかは明らかではない。 我々は、スキュー対称行列が選択されたとき、SRNLDの実証測度に対する大きな偏差原理(LDP)を確立し、境界上の内向き単位正規ベクトル場を持つ積がゼロとなるようにした。 速度関数を明示的に特徴付けることにより、スキュー対称行列の選択により、SRNLDはRLDと比較して目標分布への収束を加速できることを示す。 提案したスキュー対称行列に基づくSRNLMCの数値実験により, 大偏差理論による理論的発見を検証し, 優れた性能を示した。

関連論文リスト

• Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent [13.27202712518471]
  本稿では,非対称励起勾配 (APGD) と呼ばれるBurer-Monteiro因子化に基づく勾配型アルゴリズムを提案し,解析する。
  論文  参考訳（メタデータ） (2025-04-28T07:13:23Z)
• Non-Reversible Langevin Algorithms for Constrained Sampling [13.472207533177151]
  本研究では,制約領域上の対象分布から標本化することを目的とする制約サンプリング問題を考察する。 SRNLD(skew-reflected non-reversible Langevin dynamics)を提案する。 我々は,SRNLDの非漸近収束速度を,全変量と1-ワッサーシュタイン距離の両方の目標分布に求める。
  論文  参考訳（メタデータ） (2025-01-20T21:04:29Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Learning Discretized Neural Networks under Ricci Flow [48.47315844022283]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
  自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。 本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。 その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
  論文  参考訳（メタデータ） (2021-05-25T14:12:04Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。