論文の概要: Sample Complexity of Probability Divergences under Group Symmetry
- arxiv url: http://arxiv.org/abs/2302.01915v2
- Date: Mon, 22 May 2023 22:29:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 00:23:22.579987
- Title: Sample Complexity of Probability Divergences under Group Symmetry
- Title(参考訳): 群対称性下における確率発散のサンプル複雑性
- Authors: Ziyu Chen, Markos A. Katsoulakis, Luc Rey-Bellet, Wei Zhu
- Abstract要約: Wasserstein-1 計量とLipschitz-regularized $alpha$-divergences の場合、サンプルの複雑さの減少は、グループサイズの周囲次元依存性の力に比例する。
最大平均差分率(MMD)については、グループサイズだけでなく、カーネルの選択にも依存するため、サンプルの複雑さの改善はより曖昧である。
- 参考スコア(独自算出の注目度): 9.478466072397708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We rigorously quantify the improvement in the sample complexity of
variational divergence estimations for group-invariant distributions. In the
cases of the Wasserstein-1 metric and the Lipschitz-regularized
$\alpha$-divergences, the reduction of sample complexity is proportional to an
ambient-dimension-dependent power of the group size. For the maximum mean
discrepancy (MMD), the improvement of sample complexity is more nuanced, as it
depends on not only the group size but also the choice of kernel. Numerical
simulations verify our theories.
- Abstract(参考訳): 群不変分布に対する変分発散推定のサンプル複雑性の改善を厳密に定量化する。
Wasserstein-1 計量と Lipschitz-regularized $\alpha$-divergences の場合、サンプルの複雑さの減少は、グループサイズの周囲次元依存性の力に比例する。
最大平均偏差 (mmd) については、群のサイズだけでなくカーネルの選択にも依存するため、サンプル複雑性の改善はより微妙なものである。
数値シミュレーションは我々の理論を検証する。
関連論文リスト
- Precise Asymptotics of Bagging Regularized M-estimators [5.165142221427928]
我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。
我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。
サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
論文 参考訳(メタデータ) (2024-09-23T17:48:28Z) - Pseudorandomness from Subset States [0.34476492531570746]
ランダムな部分集合状態から量子擬似ランダム性と擬似絡み合いが得られることを示す。
部分集合が適切な大きさである限り、トレース距離は無視できるほど小さいことを示す。
論文 参考訳(メタデータ) (2023-12-14T18:36:16Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-08T16:06:29Z) - Sample Complexity Bounds for Estimating Probability Divergences under Invariances [31.946304450935628]
群不変確率分布は、機械学習において多くのデータ生成モデルに現れる。
本研究では, 多様体上のリー群の滑らかな作用に関して, 固有の不変性が, サンプルの複雑性をいかに改善するかを考察する。
結果は正次元の群にとって全く新しいものであり、有限群作用に対する最近の境界を拡張する。
論文 参考訳(メタデータ) (2023-11-06T04:45:21Z) - The Exact Sample Complexity Gain from Invariances for Kernel Regression [37.74032673086741]
実際には、モデルの不変性を符号化することで、サンプルの複雑さが向上する。
コンパクト多様体上でのカーネルリッジ回帰に対する最小値の最適値を与える。
我々の結果は任意の滑らかなコンパクトリー群作用、あるいは正次元の群に対しても成り立つ。
論文 参考訳(メタデータ) (2023-03-24T20:47:31Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Optimal Clustering with Bandit Feedback [57.672609011609886]
本稿では,バンディットフィードバックを用いたオンラインクラスタリングの問題点について考察する。
これは、NPハード重み付きクラスタリング問題をサブルーチンとして解決する必要性を回避するための、シーケンシャルなテストのための新しい停止規則を含む。
合成および実世界のデータセットの広範なシミュレーションを通して、BOCの性能は下界と一致し、非適応的ベースラインアルゴリズムよりも大幅に優れることを示す。
論文 参考訳(メタデータ) (2022-02-09T06:05:05Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Local versions of sum-of-norms clustering [77.34726150561087]
本手法はボールモデルにおいて任意に閉じた球を分離できることを示す。
我々は、不連結連結集合のクラスタリングで発生する誤差に定量的な有界性を証明した。
論文 参考訳(メタデータ) (2021-09-20T14:45:29Z) - On the Sample Complexity of Learning with Geometric Stability [42.813141600050166]
対象関数がそのような不変性や安定性を示す学習問題のサンプル複雑性について検討する。
カーネル法における非パラメトリック収束率と,グループの大きさに等しい因子によるサンプル複雑性の改善について述べる。
論文 参考訳(メタデータ) (2021-06-14T03:51:16Z) - Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。
この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。
得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
論文 参考訳(メタデータ) (2020-01-15T23:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。