論文の概要: Robust Structured Statistical Estimation via Conditional Gradient Type Methods

• arxiv url: http://arxiv.org/abs/2007.03572v1
• Date: Tue, 7 Jul 2020 15:49:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 19:25:51.922878
• Title: Robust Structured Statistical Estimation via Conditional Gradient Type Methods
• Title（参考訳）: 条件勾配型法によるロバスト構造統計的推定
• Authors: Jiacheng Zhuo, Liu Liu, Constantine Caramanis
• Abstract要約: 条件勾配(CG)型法は、構造化された統計的推定問題を解くためにしばしば用いられる。 本稿では,ハマーの汚職モデルと重み付きデータに対するCG型手法の堅牢化を提案する。 2つのPairwise CG法が安定であること、すなわちエラーを蓄積しないことを示す。
• 参考スコア（独自算出の注目度）: 25.816720329145102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured statistical estimation problems are often solved by Conditional Gradient (CG) type methods to avoid the computationally expensive projection operation. However, the existing CG type methods are not robust to data corruption. To address this, we propose to robustify CG type methods against Huber's corruption model and heavy-tailed data. First, we show that the two Pairwise CG methods are stable, i.e., do not accumulate error. Combined with robust mean gradient estimation techniques, we can therefore guarantee robustness to a wide class of problems, but now in a projection-free algorithmic framework. Next, we consider high dimensional problems. Robust mean estimation based approaches may have an unacceptably high sample complexity. When the constraint set is a $\ell_0$ norm ball, Iterative-Hard-Thresholding-based methods have been developed recently. Yet extension is non-trivial even for general sets with $O(d)$ extreme points. For setting where the feasible set has $O(\text{poly}(d))$ extreme points, we develop a novel robustness method, based on a new condition we call the Robust Atom Selection Condition (RASC). When RASC is satisfied, our method converges linearly with a corresponding statistical error, with sample complexity that scales correctly in the sparsity of the problem, rather than the ambient dimension as would be required by any approach based on robust mean estimation.
• Abstract（参考訳）: 構造化統計推定問題は、計算コストの高い投影操作を避けるために条件勾配(cg)型手法によってしばしば解決される。 しかし、既存のCG型メソッドはデータの破損に対して堅牢ではない。 そこで本研究では,ハマーの汚職モデルと重み付きデータに対するCG型手法の堅牢化を提案する。 まず,2つのPairwise CG法が安定であること,すなわちエラーを蓄積しないことを示す。 したがって、ロバストな平均勾配推定手法と組み合わせることで、幅広い種類の問題に対してロバスト性を保証することができるが、現在はプロジェクションフリーなアルゴリズムフレームワークである。 次に,高次元問題を考える。 ロバスト平均推定に基づくアプローチは、許容できないほど高いサンプル複雑性を持つ。 制約集合が$\ell_0$ノルム球であるとき、イテレーティブ・ハード・スレッショルド法が最近開発された。 しかし、o(d)$極点を持つ一般集合でも拡張は自明ではない。 実現可能な集合が$O(\text{poly}(d))$極端な点を持つように設定するために、ロバスト原子選択条件(RASC)と呼ばれる新しい条件に基づいて、新しい堅牢性法を開発する。 RASCが満たされた場合,本手法は,ロバスト平均推定に基づく任意のアプローチで要求されるような環境次元ではなく,問題の範囲内で正確にスケールするサンプル複雑度で,対応する統計的誤差と線形に収束する。

関連論文リスト

• Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates [7.21848268647674]
  我々は、決定のための$varepsilon$-greedybanditアルゴリズムと、疎帯域パラメータを推定するためのハードしきい値アルゴリズムを統合する。 マージン条件下では、我々の手法は、$O(T1/2)$ regret あるいは古典的な$O(T1/2)$-consistent推論のいずれかを達成する。
  論文  参考訳（メタデータ） (2024-11-10T01:47:11Z)
• Geometric Median (GM) Matching for Robust Data Pruning [29.458270105150564]
  データプルーニングは、大規模なデータハングリーモデルのトレーニングに伴う膨大な計算コストを軽減するために不可欠である。 本研究では,部分集合の平均値が(潜在的に)ノイズデータセットの中央値に近似するように,$k$-subsetを求めるGeometric ($gm$) Matchingを提案する。 一般的なディープラーニングベンチマークによる実験によると、$gm$ Matchingは、従来よりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-06-25T00:02:01Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Corruption-Robust Algorithms with Uncertainty Weighting for Nonlinear Contextual Bandits and Markov Decision Processes [59.61248760134937]
  本稿では,$tildeO(sqrtT+zeta)$を後悔するアルゴリズムを提案する。 提案アルゴリズムは、最近開発された線形文脈帯域からの不確実性重み付き最小二乗回帰に依存する。 本稿では,提案アルゴリズムをエピソディックなMDP設定に一般化し,まず汚職レベル$zeta$への付加的依存を実現する。
  論文  参考訳（メタデータ） (2022-12-12T15:04:56Z)
• Robust Training in High Dimensions via Block Coordinate Geometric Median Descent [69.47594803719333]
  幾何学的中央値 (textGm) は、未破損データのロバストな推定を達成するための統計学における古典的な方法である。 本稿では,テキストscGmを一度に選択した座標ブロックにのみ適用することにより,スムーズな非テキスト問題に対して0.5の分解点を保持することができることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:55:50Z)
• Adversarial Robustness Guarantees for Gaussian Processes [22.403365399119107]
  ガウス過程(GP)は、モデルの不確実性の原理的計算を可能にし、安全性に重要なアプリケーションに魅力的です。 境界付き摂動に対するモデル決定の不変性として定義されるGPの対向的堅牢性を分析するためのフレームワークを提案する。 我々は境界を洗練し、任意の$epsilon > 0$に対して、我々のアルゴリズムが有限個の反復で実際の値に$epsilon$-closeの値に収束することを保証していることを示す分岐とバウンドのスキームを開発する。
  論文  参考訳（メタデータ） (2021-04-07T15:14:56Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Kidney Exchange with Inhomogeneous Edge Existence Uncertainty [33.17472228570093]
  我々は一致したサイクルとチェーンパッキングの問題の最大化を目指しており、そこでは障害の端まで有向グラフ内の構造を識別することを目的としている。 ユナイテッド・フォー・シェアリング(SUNO)のデータに対する我々のアプローチは、SAAベースの手法と同じ重み付けでより良いパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2020-07-07T04:08:39Z)
• High-Dimensional Robust Mean Estimation via Gradient Descent [73.61354272612752]
  一定対向分数の存在下でのロバスト平均推定の問題は勾配降下によって解けることを示す。 我々の研究は、近辺の非補題推定とロバスト統計の間の興味深い関係を確立する。
  論文  参考訳（メタデータ） (2020-05-04T10:48:04Z)
• Entropy Regularized Power k-Means Clustering [21.013169939337583]
  本稿では、クローズドフォーム更新と収束保証を享受できるスケーラブルな大規模化最小化アルゴリズムを提案する。 我々の手法は、$k$-meansと$k$-meansと同じ計算量を維持しているが、どちらも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-01-10T14:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。