論文の概要: Adversarial learning for nonparametric regression: Minimax rate and adaptive estimation

• arxiv url: http://arxiv.org/abs/2506.01267v1
• Date: Mon, 02 Jun 2025 02:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.015549
• Title: Adversarial learning for nonparametric regression: Minimax rate and adaptive estimation
• Title（参考訳）: 非パラメトリック回帰のための逆学習:最小値と適応推定
• Authors: Jingfu Peng, Yuhong Yang,
• Abstract要約: 逆数$L_risks と $1 leq leq infty$ の最小収束率を確立し、極大最適性を達成する部分的局所推定器を提案する。 我々は、対数係数の中で、非対数クラスと対数クラスの広い範囲で最適な速度を達成することが示されるデータ駆動適応推定器を構築する。
• 参考スコア（独自算出の注目度）: 3.244945627960733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite tremendous advancements of machine learning models and algorithms in various application domains, they are known to be vulnerable to subtle, natural or intentionally crafted perturbations in future input data, known as adversarial attacks. While numerous adversarial learning methods have been proposed, fundamental questions about their statistical optimality in robust loss remain largely unanswered. In particular, the minimax rate of convergence and the construction of rate-optimal estimators under future $X$-attacks are yet to be worked out. In this paper, we address this issue in the context of nonparametric regression, under suitable assumptions on the smoothness of the regression function and the geometric structure of the input perturbation set. We first establish the minimax rate of convergence under adversarial $L_q$-risks with $1 \leq q \leq \infty$ and propose a piecewise local polynomial estimator that achieves the minimax optimality. The established minimax rate elucidates how the smoothness level and perturbation magnitude affect the fundamental limit of adversarial learning under future $X$-attacks. Furthermore, we construct a data-driven adaptive estimator that is shown to achieve, within a logarithmic factor, the optimal rate across a broad scale of nonparametric and adversarial classes.
• Abstract（参考訳）: さまざまなアプリケーション領域における機械学習モデルとアルゴリズムの大幅な進歩にもかかわらず、それらは、敵攻撃として知られる将来の入力データにおいて、微妙で、自然または意図的に作られた摂動に弱いことが知られている。 多くの逆学習法が提案されているが、頑健な損失における統計的最適性に関する根本的な疑問はほとんど答えられていない。 特に、収束の最小値と将来の$X$-アタックの下での速度最適推定器の構築は、まだ実行されていない。 本稿では、この問題を非パラメトリック回帰の文脈において、回帰関数の滑らかさと入力摂動集合の幾何学的構造に関する適切な仮定の下で解決する。 まず、逆数$L_q$-risks と $1 \leq q \leq \infty$ で収束の最小値を設定し、最小値最適性を達成する分別局所多項式推定器を提案する。 確立されたミニマックスレートは、将来の$X$-アタックの下で、スムーズネスレベルと摂動マグニチュードが対人学習の基本的な限界にどのように影響するかを解明する。 さらに,データ駆動型適応推定器を構築し,対数係数内において,非パラメトリッククラスと対数クラスの広い範囲における最適速度を推定する。

関連論文リスト

• Minimax rates of convergence for nonparametric regression under adversarial attacks [3.244945627960733]
  非パラメトリック回帰設定における敵攻撃に対する堅牢性の限界を理論的に解析する。 我々の研究は、入力中の敵攻撃時の最小値レートが2項の和と同じであることを明らかにした。
  論文  参考訳（メタデータ） (2024-10-12T07:11:38Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Transfer Learning for Nonparametric Regression: Non-asymptotic Minimax Analysis and Adaptive Procedure [5.303044915173525]
  我々は,最小限のリスクを対数係数まで達成できる信頼しきい値推定器と呼ばれる新しい推定器を開発した。 次に,パラメータ空間の幅の広い対数係数までの最小リスクを適応的に達成するデータ駆動アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:24:04Z)
• Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation in Contaminated Gaussian Models [1.609950046042424]
  ハマーの汚染されたガウスモデルの下での位置と分散行列の同時推定の問題を考える。 まず,非パラメトリック判別器を用いた生成逆数法に対応する最小$f$-divergence推定法について検討した。 ネスト最適化により実装可能な,単純なスプライン判別器を用いたトラクタブル逆数アルゴリズムを開発した。 提案手法は,$f$-divergenceと使用したペナルティに応じて,最小値の最適値またはほぼ最適値を達成する。
  論文  参考訳（メタデータ） (2021-12-24T02:46:51Z)
• Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms and Theoretical Studies [1.6457778420360534]
  任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。 通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。 得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
  論文  参考訳（メタデータ） (2021-12-15T20:35:21Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Minimax Off-Policy Evaluation for Multi-Armed Bandits [58.7013651350436]
  有界報酬を用いたマルチアームバンディットモデルにおけるオフポリシー評価の問題点について検討する。 3つの設定でミニマックスレート・オプティマティックな手順を開発。
  論文  参考訳（メタデータ） (2021-01-19T18:55:29Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
  本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。 記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
  論文  参考訳（メタデータ） (2020-02-21T19:20:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。