論文の概要: Regularization properties of adversarially-trained linear regression
- arxiv url: http://arxiv.org/abs/2310.10807v1
- Date: Mon, 16 Oct 2023 20:09:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 18:55:55.551401
- Title: Regularization properties of adversarially-trained linear regression
- Title（参考訳）: 逆訓練線形回帰の正則化特性
- Authors: Ant\^onio H. Ribeiro, Dave Zachariah, Francis Bach, Thomas B. Sch\"on
- Abstract要約: 最先端の機械学習モデルは、非常に小さな入力摂動に対して脆弱である。
敵の訓練は、それに対して効果的なアプローチである。
- 参考スコア（独自算出の注目度）: 5.7077257711082785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: State-of-the-art machine learning models can be vulnerable to very small
input perturbations that are adversarially constructed. Adversarial training is
an effective approach to defend against it. Formulated as a min-max problem, it
searches for the best solution when the training data were corrupted by the
worst-case attacks. Linear models are among the simple models where
vulnerabilities can be observed and are the focus of our study. In this case,
adversarial training leads to a convex optimization problem which can be
formulated as the minimization of a finite sum. We provide a comparative
analysis between the solution of adversarial training in linear regression and
other regularization methods. Our main findings are that: (A) Adversarial
training yields the minimum-norm interpolating solution in the
overparameterized regime (more parameters than data), as long as the maximum
disturbance radius is smaller than a threshold. And, conversely, the
minimum-norm interpolator is the solution to adversarial training with a given
radius. (B) Adversarial training can be equivalent to parameter shrinking
methods (ridge regression and Lasso). This happens in the underparametrized
region, for an appropriate choice of adversarial radius and zero-mean
symmetrically distributed covariates. (C) For $\ell_\infty$-adversarial
training -- as in square-root Lasso -- the choice of adversarial radius for
optimal bounds does not depend on the additive noise variance. We confirm our
theoretical findings with numerical examples.
- Abstract（参考訳）: 最先端の機械学習モデルは、反対に構築される非常に小さな入力摂動に対して脆弱である。
敵の訓練はそれに対して効果的なアプローチである。
min-max問題として定式化され、最悪のケースでトレーニングデータが破損したときの最良の解決策を検索する。
線形モデルは,脆弱性を観測し,研究の焦点となる単純なモデルの一つである。
この場合、逆トレーニングは、有限和の最小化として定式化できる凸最適化問題につながる。
線形回帰法における逆訓練の解法と他の正規化法との比較分析を行った。
主な知見は, (A) 対人訓練は, 最大外乱半径がしきい値よりも小さい限り, 過パラメータ化状態(データよりも多くのパラメータ)における最小ノルム補間解をもたらす。
そして逆に、最小ノルム補間器は、与えられた半径を持つ逆訓練の解である。
(B)逆行訓練はパラメータ縮小法(リッジ回帰法とラッソ法)と等価である。
これは、逆半径と零平均対称分布共変量の適切な選択のために、非パラメータ領域で起こる。
c)$\ell_\infty$-adversarial training -- square-root lassoのように、最適な境界に対する逆半径の選択は、加算雑音の分散に依存しない。
理論的知見を数値例で確認する。
関連論文リスト
- Minimax rates of convergence for nonparametric regression under adversarial attacks [3.244945627960733]
非パラメトリック回帰設定における敵攻撃に対する堅牢性の限界を理論的に解析する。
我々の研究は、入力中の敵攻撃時の最小値レートが2項の和と同じであることを明らかにした。
論文 参考訳（メタデータ） (2024-10-12T07:11:38Z) - Error Reduction from Stacked Regressions [12.657895453939298]
積み重ね回帰は、予測精度を高めるために異なる回帰推定器の線形結合を形成するアンサンブル手法である。
本稿では,非負性制約を受ける経験的リスクの正規化バージョンを最小化することにより,これらの重みを類似的に学習する。
適応的縮小効果により、結果として生じる累積推定量は、最も優れた単一推定値よりも人口リスクが厳しく小さい。
論文 参考訳（メタデータ） (2023-09-18T15:42:12Z) - Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。
幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
論文 参考訳（メタデータ） (2022-08-19T19:42:41Z) - Surprises in adversarially-trained linear regression [12.33259114006129]
敵の訓練はこのような例に対して最も効果的なアプローチの1つである。
本稿では,線形回帰問題に対して,凸問題として逆行訓練を定式化できることを述べる。
十分に多くの特徴や十分小さな正規化パラメータに対して、学習されたモデルはトレーニングデータを完全に補間することを示す。
論文 参考訳（メタデータ） (2022-05-25T11:54:42Z) - One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。
逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。
本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文 参考訳（メタデータ） (2022-05-24T15:17:52Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳（メタデータ） (2022-01-21T02:46:57Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。
既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。
本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文 参考訳（メタデータ） (2020-02-14T12:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。