論文の概要: Robust Estimation for Nonparametric Families via Generative Adversarial Networks

• arxiv url: http://arxiv.org/abs/2202.01269v1
• Date: Wed, 2 Feb 2022 20:11:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-04 14:27:23.289530
• Title: Robust Estimation for Nonparametric Families via Generative Adversarial Networks
• Title（参考訳）: 生成逆ネットワークによる非パラメトリック家族のロバスト推定
• Authors: Banghua Zhu, Jiantao Jiao and Michael I. Jordan
• Abstract要約: 我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
• 参考スコア（独自算出の注目度）: 92.64483100338724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We provide a general framework for designing Generative Adversarial Networks (GANs) to solve high dimensional robust statistics problems, which aim at estimating unknown parameter of the true distribution given adversarially corrupted samples. Prior work focus on the problem of robust mean and covariance estimation when the true distribution lies in the family of Gaussian distributions or elliptical distributions, and analyze depth or scoring rule based GAN losses for the problem. Our work extend these to robust mean estimation, second moment estimation, and robust linear regression when the true distribution only has bounded Orlicz norms, which includes the broad family of sub-Gaussian, sub-Exponential and bounded moment distributions. We also provide a different set of sufficient conditions for the GAN loss to work: we only require its induced distance function to be a cumulative density function of some light-tailed distribution, which is easily satisfied by neural networks with sigmoid activation. In terms of techniques, our proposed GAN losses can be viewed as a smoothed and generalized Kolmogorov-Smirnov distance, which overcomes the computational intractability of the original Kolmogorov-Smirnov distance used in the prior work.
• Abstract（参考訳）: 本稿では,高次元頑健な統計問題を解くためにGAN(Generative Adversarial Networks)を設計するための一般的なフレームワークを提案する。 先行研究は、ガウス分布や楕円分布の族に真の分布が存在する場合のロバスト平均と共分散推定の問題に焦点を当て、この問題に対する深さまたはスコアリングルールに基づくGAN損失を分析する。 我々の研究はこれらをロバスト平均推定、第二モーメント推定およびロバスト線形回帰に拡張し、真の分布が半ガウス的、部分指数的、有界なモーメント分布の広い族を含む有界オルリッツノルムのみを持つ場合である。 我々はまた、GAN損失が機能するためには、その誘導距離関数がいくつかの光尾分布の累積密度関数であることを要求するが、これはシグモイド活性化を伴うニューラルネットワークによって容易に満たされる。 手法の面では、提案するgan損失は滑らかで一般化されたコルモゴロフ-スミルノフ距離と見なすことができ、これは以前の研究で使われたコルモゴロフ-スミルノフ距離の計算不可能性を克服している。

関連論文リスト

• Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions [5.801621787540268]
  標準ガウス測度に対する相対密度の観点から確率分布の複雑性の概念を導入する。 パラメータが適切に有界なニューラルネットワークで対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布はターゲット分布を近似する。 本証明の重要な要素は,前処理に付随する真のスコア関数に対する次元自由深部ニューラルネットワーク近似率を導出することである。
  論文  参考訳（メタデータ） (2024-02-12T22:02:23Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Learning Distributions by Generative Adversarial Networks: Approximation and Generalization [0.6768558752130311]
  本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。 我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。 生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-25T09:26:17Z)
• Optimal 1-Wasserstein Distance for WGANs [2.1174215880331775]
  有限標本とレジームの両方において、WGAN(Wasserstein GANs)を徹底的に解析する。 半離散状態における最適輸送理論の新たな結果を導出する。
  論文  参考訳（メタデータ） (2022-01-08T13:04:03Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• An error analysis of generative adversarial networks for learning distributions [11.842861158282265]
  GAN(Generative Adversarial Network)は、有限サンプルから確率分布を学習する。 GANは、低次元構造を持つデータ分布を適応的に学習したり、H"古い密度を持つことができる。 本分析は,推定誤差をジェネレータと判別器の近似誤差と統計的誤差に分解する新しいオラクル不等式に基づく。
  論文  参考訳（メタデータ） (2021-05-27T08:55:19Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
  ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。 これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
  論文  参考訳（メタデータ） (2020-10-16T16:39:45Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。