論文の概要: Shifted Composition III: Local Error Framework for KL Divergence
- arxiv url: http://arxiv.org/abs/2412.17997v1
- Date: Mon, 23 Dec 2024 21:40:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-25 15:55:44.059662
- Title: Shifted Composition III: Local Error Framework for KL Divergence
- Title（参考訳）: Shifted composition III: KL分散のためのローカルエラーフレームワーク
- Authors: Jason M. Altschuler, Sinho Chewi,
- Abstract要約: 引数の結合は、2つのプロセス間の偏差を境界付ける中心的なツールである。
カップリングの議論をKL(Kulback-Leibler)の発散に適用する。
- 参考スコア（独自算出の注目度）: 12.93725028754563
- License:
- Abstract: Coupling arguments are a central tool for bounding the deviation between two stochastic processes, but traditionally have been limited to Wasserstein metrics. In this paper, we apply the shifted composition rule--an information-theoretic principle introduced in our earlier work--in order to adapt coupling arguments to the Kullback-Leibler (KL) divergence. Our framework combine the strengths of two previously disparate approaches: local error analysis and Girsanov's theorem. Akin to the former, it yields tight bounds by incorporating the so-called weak error, and is user-friendly in that it only requires easily verified local assumptions; and akin to the latter, it yields KL divergence guarantees and applies beyond Wasserstein contractivity. We apply this framework to the problem of sampling from a target distribution $\pi$. Here, the two stochastic processes are the Langevin diffusion and an algorithmic discretization thereof. Our framework provides a unified analysis when $\pi$ is assumed to be strongly log-concave (SLC), weakly log-concave (WLC), or to satisfy a log-Sobolev inequality (LSI). Among other results, this yields KL guarantees for the randomized midpoint discretization of the Langevin diffusion. Notably, our result: (1) yields the optimal $\tilde O(\sqrt d/\epsilon)$ rate in the SLC and LSI settings; (2) is the first result to hold beyond the 2-Wasserstein metric in the SLC setting; and (3) is the first result to hold in \emph{any} metric in the WLC and LSI settings.
- Abstract（参考訳）: 結合論法は、2つの確率過程間の偏差を境界付ける中心的なツールであるが、伝統的にワッサーシュタイン計量に限られていた。
本稿では,KL(Kulback-Leibler)の発散に結合論を適応させるため,従来の研究で導入された情報理論の原理であるシフト合成規則を適用した。
我々の枠組みは、局所誤差解析とジルサノフの定理の2つの異なるアプローチの長所を組み合わさっている。
前者と同様に、いわゆる弱誤差を組み込むことで厳密な境界を導き、容易に検証可能な局所的な仮定しか必要とせず、後者と同様に、KL の発散を保証することができ、ワッサーシュタインの縮約を超えて適用できるという点でユーザフレンドリーである。
この枠組みを対象分布からサンプリングする問題に応用する。
ここで、2つの確率過程はランゲヴィン拡散とアルゴリズムによる離散化である。
我々のフレームワークは、$\pi$が強い対数対数対数(SLC)、弱い対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数とする。
その他の結果の中で、KL はランゲヴィン拡散のランダム化中点離散化を保証する。
特に、(1)SLCおよびLSI設定において最適な$\tilde O(\sqrt d/\epsilon)$レートを出力し、(2)SLC設定において2-ワッサーシュタインメートル法を超えて保持する最初の結果であり、(3)WLCおよびLSI設定においてemph{any}メートル法で保持する最初の結果である。
関連論文リスト
- Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - KPZ scaling from the Krylov space [83.88591755871734]
近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。
これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
論文 参考訳（メタデータ） (2024-06-04T20:57:59Z) - Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。
この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
論文 参考訳（メタデータ） (2024-02-21T16:11:47Z) - Optimization of Time-Dependent Decoherence Rates and Coherent Control
for a Qutrit System [77.34726150561087]
非コヒーレント制御は、特定の制御方法で時間に応じてデコヒーレンス率を決定する。
我々は、システムの最終状態$rho(T)$と与えられたターゲット状態$rho_rmターゲットとの間のヒルベルト・シュミットの重なりを最大化する問題を考察する。
論文 参考訳（メタデータ） (2023-08-08T01:28:50Z) - Compressed and distributed least-squares regression: convergence rates
with applications to Federated Learning [9.31522898261934]
機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。
いくつかの非バイアス圧縮演算子間の収束率の差を強調した。
我々はその結果を連合学習の事例にまで拡張する。
論文 参考訳（メタデータ） (2023-08-02T18:02:00Z) - Riemannian optimization for non-centered mixture of scaled Gaussian
distributions [17.855338784378]
本稿では,スケールしたガウス分布(NC-MSG)の非中心混合の統計モデルについて検討する。
この分布に付随するフィッシャー・ラオ情報幾何を用いて、リーマン勾配降下アルゴリズムを導出する。
近距離セントロイド分類器は、KLの発散とその関連する質量中心を利用して実装される。
論文 参考訳（メタデータ） (2022-09-07T17:22:20Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - Utilising the CLT Structure in Stochastic Gradient based Sampling :
Improved Analysis and Faster Algorithms [14.174806471635403]
粒子ダイナミック(IPD)に対するグラディエント・ランゲヴィン・ダイナミクス(SGLD)やランダムバッチ法(RBM)などのサンプリングアルゴリズムの近似を考察する。
近似によって生じる雑音は中央極限定理(CLT)によりほぼガウス的であるが、ブラウン運動はまさにガウス的である。
この構造を利用して拡散過程内の近似誤差を吸収し、これらのアルゴリズムの収束保証を改善する。
論文 参考訳（メタデータ） (2022-06-08T10:17:40Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Convergence of Random Reshuffling Under The Kurdyka-{\L}ojasiewicz
Inequality [3.960041987749073]
我々はクルディカ・ロジャシエヴィチ(KL)の不等式に基づくステップサイズを小さくした非輝化RRの収束解析を行う。
我々は、KL指数と好適に選択された減少ステップサイズに応じて、対応する収束率を導出する。
また、近位点法に対して同様の強い極限点収束結果を確立する。
論文 参考訳（メタデータ） (2021-10-10T23:20:04Z) - Cumulant GAN [17.4556035872983]
GAN(Generative Adversarial Networks)を学習するための新しい損失関数を提案する。
対応する最適化問題は R'enyi divergence minimization と同値であることを示す。
我々は,画像生成がWasserstein GANに対してより堅牢であることを実験的に実証した。
論文 参考訳（メタデータ） (2020-06-11T17:23:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。