論文の概要: Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality

• arxiv url: http://arxiv.org/abs/2502.05623v1
• Date: Sat, 08 Feb 2025 16:07:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:29:09.286671
• Title: Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality
• Title（参考訳）: 強データ処理の不等式による相対的漁業情報中の近距離サンプリング器の混合時間
• Authors: Andre Wibisono,
• Abstract要約: 近距離サンプリングアルゴリズムを用いて,相対的なフィッシャー情報のサンプリングに要する混合時間保証について検討する。 ターゲットの確率分布が強く対数となると、相対的なフィッシャー情報は近距離サープラーに沿って指数関数的に高速に収束する。
• 参考スコア（独自算出の注目度）: 14.023607664569989
• License:
• Abstract: We study the mixing time guarantee for sampling in relative Fisher information via the Proximal Sampler algorithm, which is an approximate proximal discretization of the Langevin dynamics. We show that when the target probability distribution is strongly log-concave, the relative Fisher information converges exponentially fast along the Proximal Sampler; this matches the exponential convergence rate of the relative Fisher information along the continuous-time Langevin dynamics for strongly log-concave target. When combined with a standard implementation of the Proximal Sampler via rejection sampling, this exponential convergence rate provides a high-accuracy iteration complexity guarantee for the Proximal Sampler in relative Fisher information when the target distribution is strongly log-concave and log-smooth. Our proof proceeds by establishing a strong data processing inequality for relative Fisher information along the Gaussian channel under strong log-concavity, and a data processing inequality along the reverse Gaussian channel for a special distribution. The forward and reverse Gaussian channels compose to form the Proximal Sampler, and these data processing inequalities imply the exponential convergence rate of the relative Fisher information along the Proximal Sampler.
• Abstract（参考訳）: 本稿では,Langevin 力学の近似的近位離散化である Proximal Sampler アルゴリズムを用いて,相対的なフィッシャー情報のサンプリングに要する混合時間保証について検討する。 対象確率分布が強い対数対数ならば、相対フィッシャー情報は近位サープラーに沿って指数関数的に高速に収束し、これは強い対数対数に対して連続時間ランゲヴィンダイナミクスに沿って相対フィッシャー情報の指数収束率と一致することを示す。 この指数収束速度は、リジェクションサンプリングによる Proximal Sampler の標準実装と組み合わせることで、ターゲット分布が強い対数凹凸と対数平滑である場合、相対フィッシャー情報における Proximal Sampler の精度の高い反復複雑性を保証する。 本証明は, ガウス流路に沿った相対的なフィッシャー情報に対して, 対数共振器の対数共振器によるデータ処理の不等式と, 逆ガウス流路に沿ったデータ処理の不等式を, 特殊分布として確立することによるものである。 前方および後方のガウス流路は、近距離増幅器を形成するために構成され、これらのデータ処理の不等式は、近距離サンプリング器に沿った相対フィッシャー情報の指数収束率を暗示する。

関連論文リスト

• Quasi-Bayesian sequential deconvolution [7.10052009802944]
  ストリーミングやオンラインドメインで$f$を見積もるための、原則化されたシーケンシャルなアプローチを開発します。 局所的および一様ガウス中心極限定理は$f_n$に対して成立し、信頼できる区間とバンドを$f$とする。 本手法の実証的検証は, 合成データと実データを用いて行う。
  論文  参考訳（メタデータ） (2024-08-26T16:40:04Z)
• Score-based Generative Models with Adaptive Momentum [40.84399531998246]
  変換過程を高速化する適応運動量サンプリング法を提案する。 提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
  論文  参考訳（メタデータ） (2024-05-22T15:20:27Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• Ultimate limit on learning non-Markovian behavior: Fisher information rate and excess information [0.0]
  時系列データからプロセスの未知のパラメータを学習する基本的な限界に対処する。 観測時間とともに最適な推測がいかにスケールするかを示す、正確な閉形式表現を発見する。
  論文  参考訳（メタデータ） (2023-10-06T01:53:42Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。