論文の概要: Adversarial Robustness of Nonparametric Regression

• arxiv url: http://arxiv.org/abs/2505.17356v1
• Date: Fri, 23 May 2025 00:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.741994
• Title: Adversarial Robustness of Nonparametric Regression
• Title（参考訳）: 非パラメトリック回帰の対向ロバスト性
• Authors: Parsa Moradi, Hanzaleh Akabrinodehi, Mohammad Ali Maddah-Ali,
• Abstract要約: 回帰関数が2階ソボレフ空間に属することを前提として、非パラメトリック回帰における対向ロバスト性を特徴づける。 古典的なスムーズなスプライン推定器が適切に正規化されると、敵の汚職に対して頑健であることを示す。
• 参考スコア（独自算出の注目度）: 14.20104019605888
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate the adversarial robustness of regression, a fundamental problem in machine learning, under the setting where an adversary can arbitrarily corrupt a subset of the input data. While the robustness of parametric regression has been extensively studied, its nonparametric counterpart remains largely unexplored. We characterize the adversarial robustness in nonparametric regression, assuming the regression function belongs to the second-order Sobolev space (i.e., it is square integrable up to its second derivative). The contribution of this paper is two-fold: (i) we establish a minimax lower bound on the estimation error, revealing a fundamental limit that no estimator can overcome, and (ii) we show that, perhaps surprisingly, the classical smoothing spline estimator, when properly regularized, exhibits robustness against adversarial corruption. These results imply that if $o(n)$ out of $n$ samples are corrupted, the estimation error of the smoothing spline vanishes as $n \to \infty$. On the other hand, when a constant fraction of the data is corrupted, no estimator can guarantee vanishing estimation error, implying the optimality of the smoothing spline in terms of maximum tolerable number of corrupted samples.
• Abstract（参考訳）: 本稿では,入力データのサブセットを任意に破壊できるような状況下で,機械学習の基本的問題である回帰の対角的ロバスト性について検討する。 パラメトリック回帰のロバスト性は広く研究されているが、その非パラメトリック回帰は未解明のままである。 回帰関数が二階ソボレフ空間に属することを仮定して、非パラメトリック回帰における逆正則ロバスト性(英語版)を特徴づける(すなわち、その二階微分まで二乗可積分である)。 本論文の貢献は2つある。 (i)推定誤差の最小値の下限を確立し、推定器が克服できない基本的な限界を明らかにし、 (II) 古典的スムーズなスプライン推定器は, 適切に正規化した場合は, 敵の腐敗に対して頑健であることを示す。 これらの結果は、$o(n)$out of $n$サンプルが破損すると、滑らかなスプラインの推定誤差は$n \to \infty$として消えることを意味する。 一方、データの一定割合が破損した場合、推定器が消去推定誤差を保証できず、最大耐久サンプル数でスムーズなスプラインの最適性を示唆する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Robust deep learning from weakly dependent data [0.0]
  本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。 これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
  論文  参考訳（メタデータ） (2024-05-08T14:25:40Z)
• Byzantine-resilient Federated Learning With Adaptivity to Data Heterogeneity [54.145730036889496]
  本稿では、ビザンツの悪意ある攻撃データの存在下でのグラディエント・ラーニング(FL)を扱う。 Average Algorithm (RAGA) が提案され、ロバストネスアグリゲーションを活用してデータセットを選択することができる。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
  我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。 我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
  論文  参考訳（メタデータ） (2023-05-30T12:18:39Z)
• The Adaptive $τ$-Lasso: Robustness and Oracle Properties [12.06248959194646]
  本稿では,高次元データセット解析のためのロバストな$tau$-regression推定器の正規化版を紹介する。 得られた推定器はアダプティブ $tau$-Lasso と呼ばれ、外れ値や高平均点に対して堅牢である。 外れ値と高平均点に直面して、適応 $tau$-Lasso と $tau$-Lasso 推定器は、競合する正規化推定器の最高のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2023-04-18T21:34:14Z)
• Near Optimal Private and Robust Linear Regression [47.2888113094367]
  本稿では,2つのアルゴリズムを改良したDP-SGDアルゴリズムを提案する。 ラベル破壊の下では、これは$(varepsilon,delta)$-DPとロバスト性の両方を保証する最初の効率的な線形回帰アルゴリズムである。
  論文  参考訳（メタデータ） (2023-01-30T20:33:26Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。