論文の概要: Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances

• arxiv url: http://arxiv.org/abs/2410.20760v1
• Date: Mon, 28 Oct 2024 05:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:17:49.697409
• Title: Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances
• Title（参考訳）: Smoothed Total Variation Distance を用いたカーネル指数関数のロバスト推定
• Authors: Takafumi Kanamori, Kodai Yokoyama, Takayuki Kawashima,
• Abstract要約: 統計的推測では、標本は独立であり、確率分布から同一に分布していると一般的に仮定する。 本稿では,GAN-like 推定器の一般統計モデルへの応用について検討する。
• 参考スコア（独自算出の注目度）: 2.317910166616341
• License:
• Abstract: In statistical inference, we commonly assume that samples are independent and identically distributed from a probability distribution included in a pre-specified statistical model. However, such an assumption is often violated in practice. Even an unexpected extreme sample called an {\it outlier} can significantly impact classical estimators. Robust statistics studies how to construct reliable statistical methods that efficiently work even when the ideal assumption is violated. Recently, some works revealed that robust estimators such as Tukey's median are well approximated by the generative adversarial net (GAN), a popular learning method for complex generative models using neural networks. GAN is regarded as a learning method using integral probability metrics (IPM), which is a discrepancy measure for probability distributions. In most theoretical analyses of Tukey's median and its GAN-based approximation, however, the Gaussian or elliptical distribution is assumed as the statistical model. In this paper, we explore the application of GAN-like estimators to a general class of statistical models. As the statistical model, we consider the kernel exponential family that includes both finite and infinite-dimensional models. To construct a robust estimator, we propose the smoothed total variation (STV) distance as a class of IPMs. Then, we theoretically investigate the robustness properties of the STV-based estimators. Our analysis reveals that the STV-based estimator is robust against the distribution contamination for the kernel exponential family. Furthermore, we analyze the prediction accuracy of a Monte Carlo approximation method, which circumvents the computational difficulty of the normalization constant.
• Abstract（参考訳）: 統計的推測では、標本は独立であり、あらかじめ特定された統計モデルに含まれる確率分布から同一に分布していると仮定される。 しかし、そのような前提はしばしば実際に違反される。 予想外の極端なサンプルである {\it outlier} でさえ、古典的な推定値に大きな影響を及ぼす可能性がある。 ロバスト統計学は、理想的な仮定が破られたとしても効率的に機能する信頼できる統計手法を構築する方法を研究する。 近年,ニューラルネットワークを用いた複雑な生成モデルに対する一般的な学習手法であるGAN(Generative Adversarial Net)により,Tukeyの中央値などのロバストな推定器がよく近似されていることが明らかとなった。 GANは,確率分布の差分尺度であるIPM(Integrated probability metrics)を用いた学習手法であると考えられている。 しかし、タキーの中央値とGANに基づく近似のほとんどの理論的解析では、ガウス分布あるいは楕円分布が統計モデルとして仮定される。 本稿では,GAN-like 推定器の一般統計モデルへの応用について検討する。 統計モデルとして、有限次元モデルと無限次元モデルの両方を含む核指数族を考える。 頑健な推定器を構築するために,IMMのクラスとしてスムーズな全変動(STV)距離を提案する。 次に,STVに基づく推定器のロバスト性について理論的に検討する。 解析の結果,STVに基づく推定器はカーネル指数族に対する分布汚染に対して頑健であることがわかった。 さらに,正規化定数の計算困難を回避するモンテカルロ近似法の予測精度を解析した。

関連論文リスト

• Statistical Inference in Tensor Completion: Optimal Uncertainty Quantification and Statistical-to-Computational Gaps [7.174572371800217]
  本稿では,不完全かつノイズの多い観測を用いて,テンソル線形形式を統計的に推定する簡易かつ効率的な手法を提案する。 これは、信頼区間の構築、ヘテロスケダティックおよびサブ指数雑音下での推論、同時テストなど、様々な統計的推論タスクに適している。
  論文  参考訳（メタデータ） (2024-10-15T03:09:52Z)
• Transformer-based Parameter Estimation in Statistics [0.0]
  パラメータ推定のための変換器に基づく手法を提案する。 数値法で必要とされる確率密度関数を知る必要さえない。 提案手法は,平均二乗誤差で測定した手法と類似あるいは良好な精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-02-28T04:30:41Z)
• Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
  本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。 これらの結果はサンプル状態と有限状態の両方で定式化する。
  論文  参考訳（メタデータ） (2022-10-03T06:09:01Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences [22.496696555768846]
  統計的距離は確率分布の相似性を定量化する。 このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。 本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
  論文  参考訳（メタデータ） (2021-03-11T19:47:30Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms [43.134933182911766]
  最小二乗問題に対するRandNLAサンプリング推定器の分布を導出する解析法を開発した。 AAMSE(Asymptotic Mean Squared Error)とEAMSE(Asymsymotic Mean Squared Error)に基づく最適なサンプリング確率の同定を行った。 提案手法は, サンプリングプロセスにおけるレバレッジの役割を明らかにするとともに, 実験により既存の手法よりも改善したことを示す。
  論文  参考訳（メタデータ） (2020-02-24T20:34:50Z)
• Maximum likelihood estimation and uncertainty quantification for Gaussian process approximation of deterministic functions [10.319367855067476]
  本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。 本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-29T17:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。