論文の概要: Sampling non-log-concave densities via Hessian-free high-resolution dynamics

• arxiv url: http://arxiv.org/abs/2601.02725v1
• Date: Tue, 06 Jan 2026 05:38:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.810049
• Title: Sampling non-log-concave densities via Hessian-free high-resolution dynamics
• Title（参考訳）: Hessian-free高分解能ダイナミクスによる非log-concave密度のサンプリング
• Authors: Xiaoyu Wang, Yingli Wang, Lingjiong Zhu,
• Abstract要約: 本研究では,Hessian-free- resolution (HFHR) プロセスのターゲット分布 $(q)prop e-U(q) からのサンプリング問題について検討する。 我々は、$blana U$ linear growth が無限大であるという追加の仮定の下で、HFHR 力学の収縮は KLD よりも厳密に優れていることを示す。
• 参考スコア（独自算出の注目度）: 8.014749318189851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of sampling from a target distribution $π(q)\propto e^{-U(q)}$ on $\mathbb{R}^d$, where $U$ can be non-convex, via the Hessian-free high-resolution (HFHR) dynamics, which is a second-order Langevin-type process that has $e^{-U(q)-\frac12|p|^2}$ as its unique invariant distribution, and it reduces to kinetic Langevin dynamics (KLD) as the resolution parameter $α\to0$. The existing theory for HFHR dynamics in the literature is restricted to strongly-convex $U$, although numerical experiments are promising for non-convex settings as well. We focus on studying the convergence of HFHR dynamics when $U$ can be non-convex, which bridges a gap between theory and practice. Under a standard assumption of dissipativity and smoothness on $U$, we adopt the reflection/synchronous coupling method. This yields a Lyapunov-weighted Wasserstein distance in which the HFHR semigroup is exponentially contractive for all sufficiently small $α>0$ whenever KLD is. We further show that, under an additional assumption that asymptotically $\nabla U$ has linear growth at infinity, the contraction rate for HFHR dynamics is strictly better than that of KLD, with an explicit gain. As a case study, we verify the assumptions and the resulting acceleration for three examples: a multi-well potential, Bayesian linear regression with $L^p$ regularizer and Bayesian binary classification. We conduct numerical experiments based on these examples, as well as an additional example of Bayesian logistic regression with real data processed by the neural networks, which illustrates the efficiency of the algorithms based on HFHR dynamics and verifies the acceleration and superior performance compared to KLD.
• Abstract（参考訳）: ターゲット分布 $π(q)\propto e^{-U(q)}$ on $\mathbb{R}^d$, where $U$ can be non-convex, via the Hessian-free high- resolution (HFHR) dynamics, which is a second-order Langevin-type process that has $e^{-U(q)-\frac12|p|^2}$ as its unique invariant distribution, it is reduces toetic Langevin dynamics (KLD) as the resolution parameter $α\to0$。 文献におけるHFHR力学の既存の理論は強い凸$U$に制限されているが、数値実験は非凸設定にも有望である。 我々は、$U$が非凸であるときにHFHR力学の収束を研究することに集中し、理論と実践のギャップを埋める。 U$の拡散性と滑らかさの標準的な仮定の下で、リフレクション/同期結合法を採用する。 これにより、Ryapunov-weighted Wasserstein 距離が得られ、HFHR 半群は KLD がいつでも十分小さい$α>0$ に対して指数的に収縮する。 さらに、漸近的に$\nabla U$が無限大の線形成長を持つという追加の仮定の下では、HFHR力学の収縮速度はKLDよりも厳密に良く、明確な利得を持つことを示す。 ケーススタディでは、マルチウェルポテンシャル、$L^p$正則化を伴うベイズ線形回帰、ベイズ二項分類の3つの例について仮定と結果の加速を検証する。 これらの例に基づいて数値実験を行い、ニューラルネットワークによって処理された実データを用いてベイジアンロジスティック回帰の付加例を示すとともに、HFHR力学に基づくアルゴリズムの効率を図示し、KLDと比較して加速度と優れた性能を検証した。

関連論文リスト

• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• Renormalizable Spectral-Shell Dynamics as the Origin of Neural Scaling Laws [2.779943773196378]
  高い非線形最適化ダイナミクスにもかかわらず、ディープ・ネットワーク・トレーニングは単純なマクロ構造に従うことを示す。 平均二乗誤差損失の場合、トレーニングエラーは$dot e_t=-M(t)e_t$と$M(t)=J_(t)J_(t)!*$として進化する。 このフレームワークは、ニューラルスケーリング法則と二重降下を説明し、遅延(NTKライクな)トレーニングと特徴学習を同一スペクトルシェルの2つの限界として統一する。
  論文  参考訳（メタデータ） (2025-12-11T08:38:46Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Efficient quantum algorithm for nonlinear reaction-diffusion equations and energy estimation [5.576305273694895]
  非線形偏微分方程式(PDE)の類に対する[1]に基づく効率的な量子アルゴリズムを開発する。 導関数情報を抽出するためにエンコードする量子状態を後処理することで、溶液中の平均2乗運動エネルギーを推定する方法を示す。 応用として、古典物理学における解釈を持つフィッシャー-KPP方程式とアレン-カーン方程式を考える。
  論文  参考訳（メタデータ） (2022-05-02T18:15:32Z)
• An Exponential Lower Bound for Linearly-Realizable MDPs with Constant Suboptimality Gap [66.75488143823337]
  また, 指数的標本複雑度は, 一定の準最適ギャップを仮定しても, 未だに保持していることを示した。 おそらく驚くことに、これはオンラインrl設定と生成モデル設定の指数関数的な分離を意味する。
  論文  参考訳（メタデータ） (2021-03-23T17:05:54Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Cumulant GAN [17.4556035872983]
  GAN(Generative Adversarial Networks)を学習するための新しい損失関数を提案する。 対応する最適化問題は R'enyi divergence minimization と同値であることを示す。 我々は,画像生成がWasserstein GANに対してより堅牢であることを実験的に実証した。
  論文  参考訳（メタデータ） (2020-06-11T17:23:02Z)
• Gravitational-wave parameter estimation with autoregressive neural network flows [0.0]
  深部ニューラルネットワークを用いた重力波データから二元ブラックホール系のパラメータを高速に推定するための自己回帰正規化フローを導入する。 正規化フロー(英: normalizing flow)は、単純な確率分布からより複雑なものへの変換を誘導するために用いられるサンプル空間上の可逆写像である。 可変オートエンコーダフレームワークに自己回帰フローを組み込むことにより,より強力な潜在変数モデルを構築する。
  論文  参考訳（メタデータ） (2020-02-18T15:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。