論文の概要: Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting

• arxiv url: http://arxiv.org/abs/2310.06081v1
• Date: Mon, 9 Oct 2023 18:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 01:27:42.391579
• Title: Ito Diffusion Approximation of Universal Ito Chains for Sampling, Optimization and Boosting
• Title（参考訳）: サンプリング・最適化・ブースティングのためのユニバーサル伊藤鎖の伊藤拡散近似
• Authors: Aleksei Ustimenko, Aleksandr Beznosikov
• Abstract要約: この研究は、幾らかの微分方程式のオイラー・マルヤマ離散化のように見える、より一般で幅広いマルコフ連鎖、伊藤鎖を考える。 ほぼ任意の等方性ノイズと状態依存ノイズが伴うが、ほとんどの関連論文ではそうである。 我々の鎖のドリフトと拡散係数は、グラディエント・ランゲヴィン・ダイナミクス、サンプリング、グラディエント・ダイスティング、グラディエント・ブースティングのような広範囲の応用をカバーするために不完全である。
• 参考スコア（独自算出の注目度）: 72.01080271666859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work considers a rather general and broad class of Markov chains, Ito chains that look like Euler-Maryama discretization of some Stochastic Differential Equation. The chain we study is a unified framework for theoretical analysis. It comes with almost arbitrary isotropic and state-dependent noise instead of normal and state-independent one, as in most related papers. Moreover, our chain's drift and diffusion coefficient can be inexact to cover a wide range of applications such as Stochastic Gradient Langevin Dynamics, sampling, Stochastic Gradient Descent, or Stochastic Gradient Boosting. We prove an upper bound for $W_{2}$-distance between laws of the Ito chain and the corresponding Stochastic Differential Equation. These results improve or cover most of the known estimates. Moreover, for some particular cases, our analysis is the first.
• Abstract（参考訳）: この研究は、幾つかの確率微分方程式のオイラー・マルヤマ離散化のように見える、より一般で広範なマルコフ連鎖、伊藤鎖を考える。 私たちが研究する連鎖は理論解析のための統一的な枠組みである。 ほぼ任意の等方性ノイズと状態依存ノイズが伴うが、ほとんどの関連論文ではそうである。 さらに, 鎖のドリフト・拡散係数は, 確率勾配ランジュバンダイナミクス, サンプリング, 確率勾配降下, 確率勾配ブースティングなど, 幅広い応用範囲をカバーするために不適当である。 我々は、伊藤連鎖の法則と対応する確率微分方程式の間のw_{2}$- distanceの上限を証明できる。 これらの結果は、既知の見積もりの大半を改善またはカバーする。 さらに、特定のケースでは、私たちの分析が初めてです。

関連論文リスト

• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
  我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。 我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。 また、異なるアンサンブルを区別する新しい問題も分析できます。
  論文  参考訳（メタデータ） (2024-04-29T14:33:24Z)
• Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning [9.31522898261934]
  機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。 いくつかの非バイアス圧縮演算子間の収束率の差を強調した。 我々はその結果を連合学習の事例にまで拡張する。
  論文  参考訳（メタデータ） (2023-08-02T18:02:00Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• Convergence of Recursive Stochastic Algorithms using Wasserstein Divergence [4.688616907736838]
  本研究では, 定常段差RSAの集団の収束が, この枠組みを用いて理解可能であることを示す。 本研究では, 定常段差RSAの集団の収束が, この枠組みを用いて理解可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-25T13:45:16Z)
• A Unified Convergence Analysis for Shuffling-Type Gradient Methods [32.8097849940763]
  有限項問題を解くための一般化勾配シャッフル型法に対する統一収束解析を提案する。 以上の結果から,特定の神経シャッフル変種でのトレーニングに適する選択が示唆された。
  論文  参考訳（メタデータ） (2020-02-19T15:45:41Z)
• Empirical and Instance-Dependent Estimation of Markov Chain and Mixing Time [5.167069404528051]
  本稿では,マルコフ連鎖の混合時間を1つの観測軌道から推定する問題に対処する。 ヒルベルト空間法を用いてスペクトルギャップを推定する以前の多くの研究とは異なり、全変動に対する収縮に基づくアプローチを選択する。 この量はスペクトルギャップとは異なり、強い普遍定数まで混合時間を制御し、可逆鎖にも適用できる。
  論文  参考訳（メタデータ） (2019-12-14T13:38:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。