論文の概要: Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond

• arxiv url: http://arxiv.org/abs/2301.13486v1
• Date: Tue, 31 Jan 2023 09:11:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 17:04:56.515046
• Title: Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond
• Title（参考訳）: ロバストな線形回帰:傾き、早期停止、そしてその先
• Authors: Meyer Scetbon and Elvis Dohmatob
• Abstract要約: 本研究では, 線形回帰に対するGD法において, 敵攻撃に対するロバスト性, 早期停止戦略について検討した。 早期停止型GDはユークリッド-ノルム対逆攻撃に対して最適に(絶対定数まで)堅牢であることを示す。 我々は, 人口構造における乗算定数 1.1124 の範囲内において, 対角リスクが最適である簡易かつトラクタブルな推定器を設計する。
• 参考スコア（独自算出の注目度）: 29.936005822346054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work we study the robustness to adversarial attacks, of early-stopping strategies on gradient-descent (GD) methods for linear regression. More precisely, we show that early-stopped GD is optimally robust (up to an absolute constant) against Euclidean-norm adversarial attacks. However, we show that this strategy can be arbitrarily sub-optimal in the case of general Mahalanobis attacks. This observation is compatible with recent findings in the case of classification~\cite{Vardi2022GradientMP} that show that GD provably converges to non-robust models. To alleviate this issue, we propose to apply instead a GD scheme on a transformation of the data adapted to the attack. This data transformation amounts to apply feature-depending learning rates and we show that this modified GD is able to handle any Mahalanobis attack, as well as more general attacks under some conditions. Unfortunately, choosing such adapted transformations can be hard for general attacks. To the rescue, we design a simple and tractable estimator whose adversarial risk is optimal up to within a multiplicative constant of 1.1124 in the population regime, and works for any norm.
• Abstract（参考訳）: 本研究では, 線形回帰に対するGD法において, 敵攻撃に対するロバスト性, 早期停止戦略について検討する。 より正確には、早期停止型GDはユークリッド-ノルム対立攻撃に対して最適に(絶対定数まで)堅牢であることを示す。 しかし,一般的なマハラノビス攻撃の場合,この戦略は任意に最適であることを示す。 この観察は、gd が非ロバストモデルに確実に収束することを示す分類~\cite{vardi2022gradientmp} の場合の最近の発見と一致する。 この問題を軽減するために,攻撃に適応したデータの変換にgdスキームを適用することを提案する。 このデータ変換は機能依存学習率を適用し、修正されたGDがマハラノビス攻撃だけでなく、いくつかの条件下でのより一般的な攻撃も処理可能であることを示す。 残念ながら、このような適応型変換を選択することは一般的な攻撃には難しい。 本研究は, 人口動態の乗算定数1.1124の範囲内において, 対向リスクが最適である簡易かつトラクタブルな推定器を設計し, 任意の基準で機能する。

関連論文リスト

• Adapting to Evolving Adversaries with Regularized Continual Robust Training [47.93633573641843]
  本稿では,各攻撃がモデルロジット空間のサンプルをどの程度乱すかによって,モデルが異なる攻撃に対する頑健さのギャップが限定されていることを示す理論的結果を示す。 われわれの発見とオープンソースコードは、進化する攻撃に対して堅牢なモデルの配備の基礎を築いた。
  論文  参考訳（メタデータ） (2025-02-06T17:38:41Z)
• The Dimension Strikes Back with Gradients: Generalization of Gradient Methods in Stochastic Convex Optimization [30.26365073195728]
  基本凸最適化設定における勾配法の一般化性能について検討する。 同様の構成手法を適用すると、SGDのサンプル複雑性に対して同様の$Omega(sqrtd)$ローバウンドが得られ、非自明な経験的誤差に達することが示される。
  論文  参考訳（メタデータ） (2024-01-22T15:50:32Z)
• Protecting Model Adaptation from Trojans in the Unlabeled Data [120.42853706967188]
  本稿では,よく設計された毒物標的データによるモデル適応に対するトロイの木馬攻撃の可能性について検討する。 本稿では,既存の適応アルゴリズムとシームレスに統合可能なDiffAdaptというプラグイン・アンド・プレイ手法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T16:42:10Z)
• Transferable Attack for Semantic Segmentation [59.17710830038692]
  敵が攻撃し、ソースモデルから生成された敵の例がターゲットモデルを攻撃するのに失敗するのを観察します。 本研究では, セマンティックセグメンテーションのためのアンサンブルアタックを提案する。
  論文  参考訳（メタデータ） (2023-07-31T11:05:55Z)
• Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
  本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。 有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。 SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
  論文  参考訳（メタデータ） (2022-07-25T03:24:58Z)
• Adversarially Robust Classification by Conditional Generative Model Inversion [4.913248451323163]
  本稿では,攻撃の事前知識を仮定することなく,勾配を難読化せず,構造的に堅牢な分類モデルを提案する。 提案手法は,未成熟な自然画像に基づいて訓練された条件生成器を「反転」する最適化問題である。 我々のモデルはブラックボックス攻撃に対して非常に堅牢であり、ホワイトボックス攻撃に対するロバスト性を改善したことを実証する。
  論文  参考訳（メタデータ） (2022-01-12T23:11:16Z)
• Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm [93.80082636284922]
  少数の敵対的攻撃は、数ピクセルを摂動するだけでディープ・ネットワーク(DNN)を騙すことができる。 近年の取り組みは、他の等級のl_infty摂動と組み合わせている。 本稿では,空間的・神経的摂動に対処するホモトピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:11:36Z)
• Regularization Can Help Mitigate Poisoning Attacks... with the Right Hyperparameters [1.8570591025615453]
  機械学習アルゴリズムは、トレーニングデータの一部を操作してアルゴリズムのパフォーマンスを低下させる、中毒攻撃に対して脆弱である。 通常、正規化ハイパーパラメータが一定であると仮定する現在のアプローチは、アルゴリズムの堅牢性に対する過度に悲観的な見方をもたらすことを示す。 本稿では,攻撃が過度パラメータに与える影響を考慮し,エフェミニマックスの双レベル最適化問題としてモデル化した新たな最適攻撃定式化を提案する。
  論文  参考訳（メタデータ） (2021-05-23T14:34:47Z)
• Targeted Attack against Deep Neural Networks via Flipping Limited Weight Bits [55.740716446995805]
  我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。 私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。 整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
  論文  参考訳（メタデータ） (2021-02-21T03:13:27Z)
• Optimal Feature Manipulation Attacks Against Linear Regression [64.54500628124511]
  本稿では,データセットに慎重に設計した有害なデータポイントを付加したり,元のデータポイントを修正したりすることで,線形回帰による係数の操作方法について検討する。 エネルギー予算を考慮し, 目標が指定された回帰係数を1つ変更する場合に, 最適毒素データ点の閉形式解をまず提示する。 次に、攻撃者が1つの特定の回帰係数を変更しつつ、他をできるだけ小さく変更することを目的とした、より困難なシナリオに分析を拡張します。
  論文  参考訳（メタデータ） (2020-02-29T04:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。