論文の概要: A Theoretical Study of The Effects of Adversarial Attacks on Sparse
Regression
- arxiv url: http://arxiv.org/abs/2212.11209v1
- Date: Wed, 21 Dec 2022 17:30:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 14:29:53.343458
- Title: A Theoretical Study of The Effects of Adversarial Attacks on Sparse
Regression
- Title（参考訳）: 対人攻撃がスパース回帰に及ぼす影響に関する理論的研究
- Authors: Deepak Maurya, Jean Honorio
- Abstract要約: 我々は,推定回帰パラメーターベクトルの支持を証明可能な性能保証を実現するために,原始双対目撃者パラダイムを用いる。
理論的には, 敵が無関係な特徴を損なうことによって, サンプルの複雑さに影響を及ぼすという反直感的な結果を示す。
- 参考スコア（独自算出の注目度）: 28.776950569604026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper analyzes $\ell_1$ regularized linear regression under the
challenging scenario of having only adversarially corrupted data for training.
We use the primal-dual witness paradigm to provide provable performance
guarantees for the support of the estimated regression parameter vector to
match the actual parameter. Our theoretical analysis shows the
counter-intuitive result that an adversary can influence sample complexity by
corrupting the irrelevant features, i.e., those corresponding to zero
coefficients of the regression parameter vector, which, consequently, do not
affect the dependent variable. As any adversarially robust algorithm has its
limitations, our theoretical analysis identifies the regimes under which the
learning algorithm and adversary can dominate over each other. It helps us to
analyze these fundamental limits and address critical scientific questions of
which parameters (like mutual incoherence, the maximum and minimum eigenvalue
of the covariance matrix, and the budget of adversarial perturbation) play a
role in the high or low probability of success of the LASSO algorithm. Also,
the derived sample complexity is logarithmic with respect to the size of the
regression parameter vector, and our theoretical claims are validated by
empirical analysis on synthetic and real-world datasets.
- Abstract（参考訳）: 本稿では,逆向きに破損したデータのみをトレーニングに使用するという難しいシナリオの下で,$\ell_1$正規化線形回帰を解析する。
推定回帰パラメータベクトルが実際のパラメータに一致することを保証するため,本手法では本手法を用いて性能保証を行う。
本理論解析により,逆境が非関係な特徴,すなわち回帰パラメータベクトルの零係数に対応するもの,すなわち従属変数に影響を与えない特徴を破ることで,サンプル複雑性に影響を及ぼすことの逆直観的な結果を示す。
任意の可逆ロバストなアルゴリズムには限界があるため、理論解析により学習アルゴリズムと可逆アルゴリズムが互いに支配できるレジームを特定する。
このことは、これらの基本的な限界を分析し、パラメータ(相互不整合、共分散行列の最大値と最小値、逆摂動の予算など)がLASSOアルゴリズムの成功確率が高いか低いかという重要な科学的問題に対処するのに役立ちます。
また, 得られたサンプルの複雑性は回帰パラメータベクトルのサイズに対して対数的であり, この理論的主張は, 合成および実世界のデータセットに関する経験的分析によって検証される。
関連論文リスト
- High-dimensional logistic regression with missing data: Imputation, regularization, and universality [7.167672851569787]
我々は高次元リッジ規則化ロジスティック回帰について検討する。
予測誤差と推定誤差の両方を正確に評価する。
論文 参考訳（メタデータ） (2024-10-01T21:41:21Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳（メタデータ） (2023-05-16T08:37:54Z) - Robust Regularized Low-Rank Matrix Models for Regression and
Classification [14.698622796774634]
本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。
アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
論文 参考訳（メタデータ） (2022-05-14T18:03:48Z) - Long Story Short: Omitted Variable Bias in Causal Machine Learning [26.60315380737132]
我々は、幅広い共通因果パラメータに対する省略変数バイアスの理論を開発する。
省略変数の最大説明力に対する簡易な妥当性判定は,バイアスの大きさを限定するのに十分であることを示す。
本研究では,現代の機械学習アルゴリズムを応用して推定を行う,フレキシブルで効率的な統計的推論手法を提案する。
論文 参考訳（メタデータ） (2021-12-26T15:38:23Z) - The Predictive Normalized Maximum Likelihood for Over-parameterized
Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。
最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。
我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
論文 参考訳（メタデータ） (2021-02-14T15:49:04Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。