論文の概要: Robust Nonparametric Regression under Poisoning Attack

• arxiv url: http://arxiv.org/abs/2305.16771v2
• Date: Mon, 11 Dec 2023 07:09:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 02:47:50.509652
• Title: Robust Nonparametric Regression under Poisoning Attack
• Title（参考訳）: 中毒攻撃時のロバスト非パラメトリック回帰
• Authors: Puning Zhao, Zhiguo Wan
• Abstract要約: 敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。 初期解法はハマー損失最小化に基づくM推定器である。 最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
• 参考スコア（独自算出の注目度）: 13.470899588917716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies robust nonparametric regression, in which an adversarial attacker can modify the values of up to $q$ samples from a training dataset of size $N$. Our initial solution is an M-estimator based on Huber loss minimization. Compared with simple kernel regression, i.e. the Nadaraya-Watson estimator, this method can significantly weaken the impact of malicious samples on the regression performance. We provide the convergence rate as well as the corresponding minimax lower bound. The result shows that, with proper bandwidth selection, $\ell_\infty$ error is minimax optimal. The $\ell_2$ error is optimal with relatively small $q$, but is suboptimal with larger $q$. The reason is that this estimator is vulnerable if there are many attacked samples concentrating in a small region. To address this issue, we propose a correction method by projecting the initial estimate to the space of Lipschitz functions. The final estimate is nearly minimax optimal for arbitrary $q$, up to a $\ln N$ factor.
• Abstract（参考訳）: 本稿では,攻撃者が最大$q$のトレーニングデータセットから,最大$q$のサンプル値を変更することができるロバストな非パラメトリック回帰法について検討する。 初期解法はハマー損失最小化に基づくM推定器である。 単純なカーネル回帰、すなわちNadaraya-Watson推定器と比較して、この手法は、悪意のあるサンプルが回帰性能に与える影響を著しく弱める。 収束率とそれに対応するミニマックス下限を提供する。 その結果、適切な帯域選択により、$\ell_\infty$エラーがminimax最適となる。 $\ell_2$エラーは比較的小さな$q$で最適であるが、より大きい$q$で最適である。 この推定器は、小さな領域に集中している多くの攻撃されたサンプルが存在する場合、脆弱である。 この問題に対処するために,初期推定をリプシッツ関数の空間に投影する補正法を提案する。 最後の見積もりは、任意の$q$に対してほぼ最小値であり、$\ln N$ factorまでである。

関連論文リスト

• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Bayes beats Cross Validation: Efficient and Accurate Ridge Regression via Expectation Maximization [3.061662434597098]
  本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。 提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
  論文  参考訳（メタデータ） (2023-10-29T01:13:55Z)
• Noise Stability Optimization for Flat Minima with Tight Rates [18.009376840944284]
  関数 $F(W) = mathbbE_U[f(W + U)]$ を最小化する方法を示す。 私たちは、U$と$-U$の両方にノイズを加えるシンプルな実用的なアルゴリズムを設計します。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Robust Sparse Mean Estimation via Incremental Learning [15.536082641659423]
  そこで本研究では, 部分的に破損したサンプルの集合から, k$-sparse平均を推定することを目的とする, 頑健な平均推定問題について検討する。 両課題を適度な条件下で克服する簡易平均推定器を提案する。 私たちのメソッドは、スパーシティレベル$k$に関する事前の知識を必要としない。
  論文  参考訳（メタデータ） (2023-05-24T16:02:28Z)
• Estimating Optimal Policy Value in General Linear Contextual Bandits [50.008542459050155]
  多くのバンドイット問題において、政策によって達成可能な最大報酬は、前もって不明であることが多い。 我々は,最適政策が学習される前に,サブ線形データ構造における最適政策値を推定する問題を考察する。 V*$で問題依存上界を推定する,より実用的で効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-19T01:09:24Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Outlier-robust sparse/low-rank least-squares regression and robust matrix completion [1.0878040851637998]
  ヘテロジニアス雑音を伴う統計的学習フレームワークにおける高次元最小二乗回帰について検討する。 また, 製品プロセスの新たな応用に基づいて, 行列分解を伴う新しいトレーサリグレス理論を提案する。
  論文  参考訳（メタデータ） (2020-12-12T07:42:47Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。