論文の概要: Sample Complexity Bounds for Estimating Probability Divergences under
Invariances
- arxiv url: http://arxiv.org/abs/2311.02868v1
- Date: Mon, 6 Nov 2023 04:45:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 15:25:38.695583
- Title: Sample Complexity Bounds for Estimating Probability Divergences under
Invariances
- Title(参考訳): 不変条件下での確率分布推定のためのサンプル複雑度境界
- Authors: Behrooz Tahmasebi, Stefanie Jegelka
- Abstract要約: 群不変確率分布は、機械学習において多くのデータ生成モデルに現れる。
本研究では, 多様体上のリー群の滑らかな作用に関して, 固有の不変性が, サンプルの複雑性をいかに改善するかを考察する。
結果は正次元の群にとって全く新しいものであり、有限群作用に対する最近の境界を拡張する。
- 参考スコア(独自算出の注目度): 37.74032673086741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Group-invariant probability distributions appear in many data-generative
models in machine learning, such as graphs, point clouds, and images. In
practice, one often needs to estimate divergences between such distributions.
In this work, we study how the inherent invariances, with respect to any smooth
action of a Lie group on a manifold, improve sample complexity when estimating
the Wasserstein distance, the Sobolev Integral Probability Metrics (Sobolev
IPMs), the Maximum Mean Discrepancy (MMD), and also the complexity of the
density estimation problem (in the $L^2$ and $L^\infty$ distance). Our results
indicate a two-fold gain: (1) reducing the sample complexity by a
multiplicative factor corresponding to the group size (for finite groups) or
the normalized volume of the quotient space (for groups of positive dimension);
(2) improving the exponent in the convergence rate (for groups of positive
dimension). These results are completely new for groups of positive dimension
and extend recent bounds for finite group actions.
- Abstract(参考訳): グループ不変確率分布は、グラフ、点雲、画像など、機械学習における多くのデータ生成モデルに現れる。
実際には、そのような分布の相違を推定する必要があることが多い。
本研究では,多様体上のリー群の滑らかな作用に関する本質的不変性について,ワッサーシュタイン距離推定時のサンプル複雑性,ソボレフ積分確率メトリクス(sobolev ipms),最大平均偏差(mmd),密度推定問題の複雑性($l^2$および$l^2\infty$ distance)について検討する。
その結果,(1)群のサイズ(有限群の場合)や商空間の正規化体積(正次元群の場合)に対応する乗法因子によるサンプルの複雑性の減少,(2)収束率(正次元群の場合)の指数の向上,の2倍の利得が得られた。
これらの結果は正次元の群に対しては全く新しいものであり、有限群作用に対する最近の境界を拡張する。
関連論文リスト
- Sampling and estimation on manifolds using the Langevin diffusion [48.898189211250234]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳(メタデータ) (2023-12-22T18:01:11Z) - The Exact Sample Complexity Gain from Invariances for Kernel Regression [37.74032673086741]
実際には、モデルの不変性を符号化することで、サンプルの複雑さが向上する。
コンパクト多様体上でのカーネルリッジ回帰に対する最小値の最適値を与える。
我々の結果は任意の滑らかなコンパクトリー群作用、あるいは正次元の群に対しても成り立つ。
論文 参考訳(メタデータ) (2023-03-24T20:47:31Z) - Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed
Sampling [17.415391025051434]
重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。
平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
論文 参考訳(メタデータ) (2023-03-01T15:16:03Z) - Sample Complexity of Probability Divergences under Group Symmetry [9.478466072397708]
Wasserstein-1 計量とLipschitz-regularized $alpha$-divergences の場合、サンプルの複雑さの減少は、グループサイズの周囲次元依存性の力に比例する。
最大平均差分率(MMD)については、グループサイズだけでなく、カーネルの選択にも依存するため、サンプルの複雑さの改善はより曖昧である。
論文 参考訳(メタデータ) (2023-02-03T18:50:15Z) - On counterfactual inference with unobserved confounding [36.18241676876348]
独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。
我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。
対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
論文 参考訳(メタデータ) (2022-11-14T04:14:37Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳(メタデータ) (2021-12-07T01:23:20Z) - Local versions of sum-of-norms clustering [77.34726150561087]
本手法はボールモデルにおいて任意に閉じた球を分離できることを示す。
我々は、不連結連結集合のクラスタリングで発生する誤差に定量的な有界性を証明した。
論文 参考訳(メタデータ) (2021-09-20T14:45:29Z) - Consistent Estimation of Identifiable Nonparametric Mixture Models from
Grouped Observations [84.81435917024983]
この研究は、グループ化された観測から任意の同定可能な混合モデルを一貫して推定するアルゴリズムを提案する。
ペア化された観測のために実践的な実装が提供され、アプローチは既存の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-06-12T20:44:22Z) - Statistical power for cluster analysis [0.0]
クラスターアルゴリズムは、生物医学研究でますます人気がある。
シミュレーションにより,共通解析におけるパワーと精度を推定する。
我々は,大規模なサブグループ分離が期待される場合にのみ,クラスタ分析を適用することを推奨する。
論文 参考訳(メタデータ) (2020-03-01T02:43:15Z) - Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。
この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。
得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
論文 参考訳(メタデータ) (2020-01-15T23:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。