論文の概要: Hyperparameter Learning under Data Poisoning: Analysis of the Influence
of Regularization via Multiobjective Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2306.01613v2
- Date: Fri, 23 Jun 2023 18:23:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 22:23:20.649760
- Title: Hyperparameter Learning under Data Poisoning: Analysis of the Influence
of Regularization via Multiobjective Bilevel Optimization
- Title（参考訳）: データ中毒下におけるハイパーパラメータ学習:多目的二レベル最適化による正規化の影響分析
- Authors: Javier Carnerero-Cano, Luis Mu\~noz-Gonz\'alez, Phillippa Spencer,
Emil C. Lupu
- Abstract要約: 機械学習(ML)アルゴリズムは、アルゴリズムのパフォーマンスを意図的に劣化させるためにトレーニングデータの一部が操作される、中毒攻撃に対して脆弱である。
最適な攻撃は、二段階最適化問題として定式化することができ、最悪のシナリオでその堅牢性を評価するのに役立つ。
- 参考スコア（独自算出の注目度）: 3.3181276611945263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine Learning (ML) algorithms are vulnerable to poisoning attacks, where a
fraction of the training data is manipulated to deliberately degrade the
algorithms' performance. Optimal attacks can be formulated as bilevel
optimization problems and help to assess their robustness in worst-case
scenarios. We show that current approaches, which typically assume that
hyperparameters remain constant, lead to an overly pessimistic view of the
algorithms' robustness and of the impact of regularization. We propose a novel
optimal attack formulation that considers the effect of the attack on the
hyperparameters and models the attack as a multiobjective bilevel optimization
problem. This allows to formulate optimal attacks, learn hyperparameters and
evaluate robustness under worst-case conditions. We apply this attack
formulation to several ML classifiers using $L_2$ and $L_1$ regularization. Our
evaluation on multiple datasets confirms the limitations of previous strategies
and evidences the benefits of using $L_2$ and $L_1$ regularization to dampen
the effect of poisoning attacks.
- Abstract（参考訳）: 機械学習(ml)アルゴリズムは、アルゴリズムのパフォーマンスを意図的に低下させるためにトレーニングデータの一部が操作される中毒攻撃に対して脆弱である。
最適な攻撃は二段階最適化問題として定式化でき、最悪のシナリオにおけるロバスト性を評価するのに役立つ。
ハイパーパラメータが一定であると考える現在のアプローチは、アルゴリズムの頑健さと正規化の影響を過度に悲観的に捉えていることを示している。
本稿では,ハイパーパラメータに対する攻撃の影響を考慮し,多目的二段階最適化問題として攻撃をモデル化する,新しい最適攻撃定式化を提案する。
これにより、最適な攻撃を定式化し、ハイパーパラメータを学習し、最悪の場合の堅牢性を評価することができる。
この攻撃定式化を、$L_2$と$L_1$正規化を用いて複数のML分類器に適用する。
複数のデータセットに対する評価は, 過去の戦略の限界を確認し, 毒性攻撃の影響を抑えるために$L_2$と$L_1$正規化を使用することの利点を証明している。
関連論文リスト
- HO-FMN: Hyperparameter Optimization for Fast Minimum-Norm Attacks [14.626176607206748]
本稿では,よく知られた高速最小ノルム攻撃アルゴリズムのパラメトリック変種を提案する。
我々は12のロバストモデルを再評価し、追加のチューニングを必要とせずに敵の摂動が小さくなることを示した。
論文 参考訳（メタデータ） (2024-07-11T18:30:01Z) - Advancing Generalized Transfer Attack with Initialization Derived Bilevel Optimization and Dynamic Sequence Truncation [49.480978190805125]
転送攻撃はブラックボックスアプリケーションに大きな関心を惹きつける。
既存の作業は、本質的に単一のレベルの目的 w.r.t. シュロゲートモデルを直接最適化する。
本稿では,上位レベル(UL)と下位レベル(LL)のサロゲート攻撃とのネスト関係を明示的に再構築する2レベル最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T07:45:27Z) - Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。
本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。
C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文 参考訳（メタデータ） (2024-05-24T14:20:09Z) - Optimization for Robustness Evaluation beyond $\ell_p$ Metrics [11.028091609739738]
敵対的攻撃に対するディープラーニングモデルの実証的評価は、非自明な制約付き最適化問題を解くことを伴う。
本稿では,PyGRANSO, With Constraint-Folding (PWCF) をブレンドして信頼性と汎用性を向上するフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-02T20:48:05Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Versatile Weight Attack via Flipping Limited Bits [68.45224286690932]
本研究では,展開段階におけるモデルパラメータを変更する新たな攻撃パラダイムについて検討する。
有効性とステルスネスの目標を考慮し、ビットフリップに基づく重み攻撃を行うための一般的な定式化を提供する。
SSA(Single sample attack)とTSA(Singr sample attack)の2例を報告した。
論文 参考訳（メタデータ） (2022-07-25T03:24:58Z) - Regularization Can Help Mitigate Poisoning Attacks... with the Right
Hyperparameters [1.8570591025615453]
機械学習アルゴリズムは、トレーニングデータの一部を操作してアルゴリズムのパフォーマンスを低下させる、中毒攻撃に対して脆弱である。
通常、正規化ハイパーパラメータが一定であると仮定する現在のアプローチは、アルゴリズムの堅牢性に対する過度に悲観的な見方をもたらすことを示す。
本稿では,攻撃が過度パラメータに与える影響を考慮し,エフェミニマックスの双レベル最適化問題としてモデル化した新たな最適攻撃定式化を提案する。
論文 参考訳（メタデータ） (2021-05-23T14:34:47Z) - Targeted Attack against Deep Neural Networks via Flipping Limited Weight
Bits [55.740716446995805]
我々は,悪質な目的で展開段階におけるモデルパラメータを修飾する新しい攻撃パラダイムについて検討する。
私たちのゴールは、特定のサンプルをサンプル修正なしでターゲットクラスに誤分類することです。
整数プログラミングにおける最新の手法を利用することで、このBIP問題を連続最適化問題として等価に再構成する。
論文 参考訳（メタデータ） (2021-02-21T03:13:27Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - Regularisation Can Mitigate Poisoning Attacks: A Novel Analysis Based on
Multiobjective Bilevel Optimisation [3.3181276611945263]
機械学習(ML)アルゴリズムは、アルゴリズムのパフォーマンスを意図的に劣化させるためにトレーニングデータの一部が操作される、中毒攻撃に対して脆弱である。
2レベル問題として定式化できる最適毒殺攻撃は、最悪のシナリオにおける学習アルゴリズムの堅牢性を評価するのに役立つ。
このアプローチはアルゴリズムの堅牢性に対する過度に悲観的な見方をもたらすことを示す。
論文 参考訳（メタデータ） (2020-02-28T19:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。