論文の概要: Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation
in Contaminated Gaussian Models
- arxiv url: http://arxiv.org/abs/2112.12919v1
- Date: Fri, 24 Dec 2021 02:46:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 17:37:32.358338
- Title: Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation
in Contaminated Gaussian Models
- Title(参考訳): 汚染ガウスモデルにおけるロバスト推定のためのトラクタブルおよび準最適逆アルゴリズム
- Authors: Ziyue Wang, Zhiqiang Tan
- Abstract要約: ハマーの汚染されたガウスモデルの下での位置と分散行列の同時推定の問題を考える。
まず,非パラメトリック判別器を用いた生成逆数法に対応する最小$f$-divergence推定法について検討した。
ネスト最適化により実装可能な,単純なスプライン判別器を用いたトラクタブル逆数アルゴリズムを開発した。
提案手法は,$f$-divergenceと使用したペナルティに応じて,最小値の最適値またはほぼ最適値を達成する。
- 参考スコア(独自算出の注目度): 1.609950046042424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consider the problem of simultaneous estimation of location and variance
matrix under Huber's contaminated Gaussian model. First, we study minimum
$f$-divergence estimation at the population level, corresponding to a
generative adversarial method with a nonparametric discriminator and establish
conditions on $f$-divergences which lead to robust estimation, similarly to
robustness of minimum distance estimation. More importantly, we develop
tractable adversarial algorithms with simple spline discriminators, which can
be implemented via nested optimization such that the discriminator parameters
can be fully updated by maximizing a concave objective function given the
current generator. The proposed methods are shown to achieve minimax optimal
rates or near-optimal rates depending on the $f$-divergence and the penalty
used. We present simulation studies to demonstrate advantages of the proposed
methods over classic robust estimators, pairwise methods, and a generative
adversarial method with neural network discriminators.
- Abstract(参考訳): フーバーの汚染ガウスモデルの下での位置と分散行列の同時推定の問題を考える。
まず, 人口レベルでの最小$f$-divergence推定を非パラメトリック判別器を用いた生成逆数法に対応して検討し, 最小距離推定のロバスト性と同様に, 頑健な推定につながる$f$-divergencesの条件を確立する。
より重要なことは、単純なスプライン判別器を用いた扱いやすい逆アルゴリズムを開発し、現在のジェネレータに与えられた凹型目的関数を最大化することで判別器パラメータを完全に更新できるように、入れ子最適化によって実装できる。
提案手法は,$f$-divergenceと使用したペナルティに応じて,最小値の最適値またはほぼ最適値を達成する。
本稿では,古典的ロバスト推定法,ペアワイズ法,ニューラルネットワーク判別法に対する提案手法の利点を示すシミュレーション手法を提案する。
関連論文リスト
- Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-01-30T18:54:54Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳(メタデータ) (2022-09-27T07:58:25Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳(メタデータ) (2022-01-21T02:46:57Z) - Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。
我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。
また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文 参考訳(メタデータ) (2021-07-02T16:21:52Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Optimal Algorithms for Stochastic Multi-Armed Bandits with Heavy Tailed
Rewards [24.983866845065926]
我々は、重い尾の報酬を持つマルチアームのバンディットを考えており、そのp$-thのモーメントは、定数$nu_p$が1pleq2$である。
本稿では,従来の情報として$nu_p$を必要としない新しいロバストな推定器を提案する。
提案した推定器の誤差確率は指数関数的に高速に減衰することを示す。
論文 参考訳(メタデータ) (2020-10-24T10:44:02Z) - An Adversarial Approach to Structural Estimation [2.5782420501870287]
構造モデルに対する新しいシミュレーションに基づく逆推定法を提案する。
十分リッチな判別器により、逆数推定器は正しい仕様の下でパラメトリック効率を得ることを示す。
本手法を高齢者の貯蓄決定モデルに適用し,富裕層における貯蓄の重要源として探究動機を明らかにする。
論文 参考訳(メタデータ) (2020-07-13T03:31:02Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳(メタデータ) (2020-06-13T07:32:38Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Is Temporal Difference Learning Optimal? An Instance-Dependent Analysis [102.29671176698373]
我々は、割引決定過程における政策評価の問題に対処し、生成モデルの下で、ll_infty$errorに対するマルコフに依存した保証を提供する。
我々は、ポリシー評価のために、局所ミニマックス下限の両漸近バージョンと非漸近バージョンを確立し、アルゴリズムを比較するためのインスタンス依存ベースラインを提供する。
論文 参考訳(メタデータ) (2020-03-16T17:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。