論文の概要: Debiased Distribution Compression
- arxiv url: http://arxiv.org/abs/2404.12290v3
- Date: Wed, 31 Jul 2024 20:32:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-02 18:59:12.653660
- Title: Debiased Distribution Compression
- Title（参考訳）: Debiased Distribution Compression
- Authors: Lingxiao Li, Raaz Dwivedi, Lester Mackey,
- Abstract要約: 本稿では, バイアス入力シーケンスによる圧縮に適した新しい圧縮手法を提案する。
バーンイン,近似マルコフ連鎖モンテカルロ,テンパリングによるバイアスを克服しつつ,簡潔かつ正確な後続サマリーを提供する。
- 参考スコア（独自算出の注目度）: 30.600795754425775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern compression methods can summarize a target distribution $\mathbb{P}$ more succinctly than i.i.d. sampling but require access to a low-bias input sequence like a Markov chain converging quickly to $\mathbb{P}$. We introduce a new suite of compression methods suitable for compression with biased input sequences. Given $n$ points targeting the wrong distribution and quadratic time, Stein kernel thinning (SKT) returns $\sqrt{n}$ equal-weighted points with $\widetilde{O}(n^{-1/2})$ maximum mean discrepancy (MMD) to $\mathbb{P}$. For larger-scale compression tasks, low-rank SKT achieves the same feat in sub-quadratic time using an adaptive low-rank debiasing procedure that may be of independent interest. For downstream tasks that support simplex or constant-preserving weights, Stein recombination and Stein Cholesky achieve even greater parsimony, matching the guarantees of SKT with as few as $\text{poly-log}(n)$ weighted points. Underlying these advances are new guarantees for the quality of simplex-weighted coresets, the spectral decay of kernel matrices, and the covering numbers of Stein kernel Hilbert spaces. In our experiments, our techniques provide succinct and accurate posterior summaries while overcoming biases due to burn-in, approximate Markov chain Monte Carlo, and tempering.
- Abstract（参考訳）: 現代の圧縮法では、ターゲット分布 $\mathbb{P}$ をサンプリングよりも簡潔に要約することができるが、マルコフ連鎖のような低バイアスの入力シーケンスへのアクセスは、$\mathbb{P}$ に素早く収束する。
本稿では, バイアス入力シーケンスによる圧縮に適した新しい圧縮手法を提案する。
間違った分布と二次時間をターゲットにした$n$ポイントが与えられたとき、スタインカーネルのシンニング(SKT)は$\sqrt{n}$等重点を$\widetilde{O}(n^{-1/2})$最大平均離散(MMD)から$\mathbb{P}$を返却する。
大規模圧縮タスクでは、低ランクSKTは、独立した関心を持つ可能性のある適応型低ランクデバイアス処理を用いて、サブクアクラティック時間で同じ偉業を達成する。
SKT の保証を $\text{poly-log}(n)$ 加重点に合わせることで、Stein recombination と Stein Cholesky はさらに多くのパーシモニーを実現している。
これらの進歩の下には、単純重み付きコアセットの品質、カーネル行列のスペクトル減衰、およびスタイン核ヒルベルト空間の被覆数に対する新しい保証がある。
実験では, 燃焼イン, 近似マルコフ連鎖モンテカルロ, テンパリングによるバイアスを克服しつつ, 簡潔かつ正確な後続サマリーを提供する。
関連論文リスト
- Provable Benefit of Annealed Langevin Monte Carlo for Non-log-concave Sampling [28.931489333515618]
簡単なアニール型Langevin Monte Carloアルゴリズムに対して$widetildeOleft(fracdbeta2cal A2varepsilon6right)のオラクル複雑性を確立する。
例えば、$cal A$ は対象分布 $pi$ と容易にサンプリング可能な分布を補間する確率測度の曲線の作用を表す。
論文 参考訳（メタデータ） (2024-07-24T02:15:48Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Minimal Random Code Learning with Mean-KL Parameterization [2.3814052021083354]
変分ベイズニューラルネットワークの圧縮に用いる最小ランダム符号学習(MIRACLE)の2つの変種について検討した。
MIRACLEは、重量後部$Q_mathbfw$に対して強力で条件付きガウス変分近似を実装し、相対エントロピー符号化を用いて重量サンプルを後部から圧縮する。
本研究では,平均-KLパラメータ化による変分学習が2倍の速度で収束し,圧縮後の予測性能が維持されることを示す。
論文 参考訳（メタデータ） (2023-07-15T14:46:43Z) - Settling the Sample Complexity of Model-Based Offline Reinforcement
Learning [50.5790774201146]
オフライン強化学習(RL)は、事前収集されたデータを用いて、さらなる探索を行わずに学習する。
事前のアルゴリズムや分析は、最適なサンプルの複雑さに悩まされるか、サンプルの最適性に到達するために高いバーンインコストがかかるかのいずれかである。
モデルベース(あるいは"プラグイン")アプローチは,バーンインコストを伴わずに,最小限のサンプル複雑性を実現することを実証する。
論文 参考訳（メタデータ） (2022-04-11T17:26:19Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Distribution Compression in Near-linear Time [27.18971095426405]
シンニングアルゴリズムを高速化するシンプルなメタプロデューサであるCompress++を紹介する。
$sqrtn$ポイントを$mathcalO(sqrtlog n/n)$統合エラーで提供し、Monte-Carlo の最大誤差を最大化します。
論文 参考訳（メタデータ） (2021-11-15T17:42:57Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Optimal Thinning of MCMC Output [18.177473712344565]
サンプルパスから固定基数のある状態の部分集合を振り返って選択する問題を考察する。
重圧縮を必要とする問題に適した,カーネルの差分最小化に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2020-05-08T10:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。