論文の概要: Improving Fast Minimum-Norm Attacks with Hyperparameter Optimization
- arxiv url: http://arxiv.org/abs/2310.08177v1
- Date: Thu, 12 Oct 2023 10:03:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 12:13:09.439300
- Title: Improving Fast Minimum-Norm Attacks with Hyperparameter Optimization
- Title(参考訳): ハイパーパラメータ最適化による高速最小ノルム攻撃の改善
- Authors: Giuseppe Floris, Raffaele Mura, Luca Scionis, Giorgio Piras, Maura
Pintor, Ambra Demontis, Battista Biggio
- Abstract要約: 本稿では、損失関数、自動化、ステップサイズスケジューラの選択により、超パラメータ最適化が高速な最小ノルム攻撃を改善することを示す。
オープンソースコードはhttps://www.pralab.com/HO-FMN.comで公開しています。
- 参考スコア(独自算出の注目度): 12.526318578195724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating the adversarial robustness of machine learning models using
gradient-based attacks is challenging. In this work, we show that
hyperparameter optimization can improve fast minimum-norm attacks by automating
the selection of the loss function, the optimizer and the step-size scheduler,
along with the corresponding hyperparameters. Our extensive evaluation
involving several robust models demonstrates the improved efficacy of fast
minimum-norm attacks when hyper-up with hyperparameter optimization. We release
our open-source code at https://github.com/pralab/HO-FMN.
- Abstract(参考訳): 勾配に基づく攻撃を用いた機械学習モデルの逆強靭性の評価は困難である。
本研究では,損失関数,オプティマイザ,ステップサイズスケジューラを,対応するハイパーパラメータとともに自動選択することで,超パラメータ最適化が高速な最小ノルム攻撃を改善することを示す。
いくつかのロバストモデルを用いた広範囲な評価により,ハイパーパラメータ最適化による高速最小ノルム攻撃の有効性が示された。
私たちはオープンソースコードをhttps://github.com/pralab/ho-fmnでリリースします。
関連論文リスト
- Parameter Optimization with Conscious Allocation (POCA) [4.478575931884855]
ハイパーバンドベースの機械学習アプローチが最も効果的である。
私たちは出席します。
新人
Conscious Allocation (POCA) は、入力を適応的に割り当てるハイパーバンドベースのアルゴリズムである。
ハイパーパラメータの構成に予算を割り当てます
POCAは、両方の設定で強い設定を高速に見つける。
論文 参考訳(メタデータ) (2023-12-29T00:13:55Z) - Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers
through Gradient Histograms [0.8702432681310399]
属性適応を解析・正当化するための勾配ヒストグラムに基づく新しいフレームワークを提案する。
そこで本稿では,セーフガード係数$epsilon$に対する縮小された正確な探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-20T04:34:19Z) - AdaLomo: Low-memory Optimization with Adaptive Learning Rate [63.99489591661645]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。
AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文 参考訳(メタデータ) (2023-10-16T09:04:28Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - Hyper-parameter optimization based on soft actor critic and hierarchical
mixture regularization [5.063728016437489]
我々はマルコフ決定プロセスとしてハイパーパラメータ最適化プロセスをモデル化し、強化学習でそれに取り組む。
ソフトアクター評論家と階層混合正規化に基づく新しいハイパーパラメータ最適化法が提案されている。
論文 参考訳(メタデータ) (2021-12-08T02:34:43Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳(メタデータ) (2021-02-17T21:03:05Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳(メタデータ) (2021-02-15T19:36:18Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳(メタデータ) (2020-07-11T03:15:21Z) - Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。
共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文 参考訳(メタデータ) (2020-04-25T20:15:53Z) - Automatic Hyper-Parameter Optimization Based on Mapping Discovery from
Data to Hyper-Parameters [3.37314595161109]
本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。
提案手法は最先端のアポラッチを著しく上回ることを示す。
論文 参考訳(メタデータ) (2020-03-03T19:26:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。