論文の概要: Sample Complexity Bounds for Estimating Probability Divergences under Invariances

• arxiv url: http://arxiv.org/abs/2311.02868v2
• Date: Thu, 6 Jun 2024 02:00:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:29:50.115736
• Title: Sample Complexity Bounds for Estimating Probability Divergences under Invariances
• Title（参考訳）: 不変条件下での確率の多様性を推定するためのサンプル複雑度境界
• Authors: Behrooz Tahmasebi, Stefanie Jegelka,
• Abstract要約: 群不変確率分布は、機械学習において多くのデータ生成モデルに現れる。 本研究では, 多様体上のリー群の滑らかな作用に関して, 固有の不変性が, サンプルの複雑性をいかに改善するかを考察する。 結果は正次元の群にとって全く新しいものであり、有限群作用に対する最近の境界を拡張する。
• 参考スコア（独自算出の注目度）: 31.946304450935628
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-invariant probability distributions appear in many data-generative models in machine learning, such as graphs, point clouds, and images. In practice, one often needs to estimate divergences between such distributions. In this work, we study how the inherent invariances, with respect to any smooth action of a Lie group on a manifold, improve sample complexity when estimating the 1-Wasserstein distance, the Sobolev Integral Probability Metrics (Sobolev IPMs), the Maximum Mean Discrepancy (MMD), and also the complexity of the density estimation problem (in the $L^2$ and $L^\infty$ distance). Our results indicate a two-fold gain: (1) reducing the sample complexity by a multiplicative factor corresponding to the group size (for finite groups) or the normalized volume of the quotient space (for groups of positive dimension); (2) improving the exponent in the convergence rate (for groups of positive dimension). These results are completely new for groups of positive dimension and extend recent bounds for finite group actions.
• Abstract（参考訳）: グループ不変確率分布は、グラフ、点雲、画像など、機械学習における多くのデータ生成モデルに現れる。 実際には、そのような分布の相違を推定する必要があることが多い。 本研究では, 多様体上のリー群の滑らかな作用について, ソボレフ積分確率計量 (Sobolev IPMs) , 最大平均離散性 (MMD) , 密度推定問題の複雑性 ($L^2$, $L^\infty$ distance) について検討する。 その結果,(1)群のサイズ(有限群の場合)や商空間の正規化体積(正次元群の場合)に対応する乗法因子によるサンプルの複雑性の減少,(2)収束率(正次元群の場合)の指数の向上,の2倍の利得が得られた。 これらの結果は正次元の群に対しては全く新しいものであり、有限群作用に対する最近の境界を拡張する。

関連論文リスト

• Multi-Group Fairness Evaluation via Conditional Value-at-Risk Testing [24.553384023323332]
  本研究では,条件付き値-at-Riskに基づく性能格差のテスト手法を提案する。 性能違反を発見するのに必要なサンプルの複雑さは指数関数的に減少し、群数の平方根によって最も上界にあることを示す。
  論文  参考訳（メタデータ） (2023-12-06T19:25:32Z)
• The Exact Sample Complexity Gain from Invariances for Kernel Regression [37.74032673086741]
  実際には、モデルの不変性を符号化することで、サンプルの複雑さが向上する。 コンパクト多様体上でのカーネルリッジ回帰に対する最小値の最適値を与える。 我々の結果は任意の滑らかなコンパクトリー群作用、あるいは正次元の群に対しても成り立つ。
  論文  参考訳（メタデータ） (2023-03-24T20:47:31Z)
• Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed Sampling [17.415391025051434]
  重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。 平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
  論文  参考訳（メタデータ） (2023-03-01T15:16:03Z)
• Sample Complexity of Probability Divergences under Group Symmetry [9.478466072397708]
  Wasserstein-1 計量とLipschitz-regularized $alpha$-divergences の場合、サンプルの複雑さの減少は、グループサイズの周囲次元依存性の力に比例する。 最大平均差分率(MMD)については、グループサイズだけでなく、カーネルの選択にも依存するため、サンプルの複雑さの改善はより曖昧である。
  論文  参考訳（メタデータ） (2023-02-03T18:50:15Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Local versions of sum-of-norms clustering [77.34726150561087]
  本手法はボールモデルにおいて任意に閉じた球を分離できることを示す。 我々は、不連結連結集合のクラスタリングで発生する誤差に定量的な有界性を証明した。
  論文  参考訳（メタデータ） (2021-09-20T14:45:29Z)
• Sum-of-norms clustering does not separate nearby balls [49.1574468325115]
  我々は,データセットを一般的な測度に置き換えた,和和クラスタリングの連続的なバージョンを示す。 我々は,離散データポイントの場合においても,新たなクラスタリングの局所的特徴を記述し,証明する。
  論文  参考訳（メタデータ） (2021-04-28T13:35:17Z)
• Consistent Estimation of Identifiable Nonparametric Mixture Models from Grouped Observations [84.81435917024983]
  この研究は、グループ化された観測から任意の同定可能な混合モデルを一貫して推定するアルゴリズムを提案する。 ペア化された観測のために実践的な実装が提供され、アプローチは既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-12T20:44:22Z)
• Computationally efficient sparse clustering [67.95910835079825]
  我々はPCAに基づく新しいクラスタリングアルゴリズムの有限サンプル解析を行う。 ここでは,ミニマックス最適誤クラスタ化率を,体制$|theta infty$で達成することを示す。
  論文  参考訳（メタデータ） (2020-05-21T17:51:30Z)
• Statistical power for cluster analysis [0.0]
  クラスターアルゴリズムは、生物医学研究でますます人気がある。 シミュレーションにより,共通解析におけるパワーと精度を推定する。 我々は,大規模なサブグループ分離が期待される場合にのみ,クラスタ分析を適用することを推奨する。
  論文  参考訳（メタデータ） (2020-03-01T02:43:15Z)
• Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
  ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。 この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。 得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
  論文  参考訳（メタデータ） (2020-01-15T23:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。