論文の概要: Hyper-parameter Tuning for Adversarially Robust Models
- arxiv url: http://arxiv.org/abs/2304.02497v2
- Date: Tue, 11 Jul 2023 14:42:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 18:41:07.631855
- Title: Hyper-parameter Tuning for Adversarially Robust Models
- Title(参考訳): 逆ロバストモデルに対するハイパーパラメータチューニング
- Authors: Pedro Mendes, Paolo Romano, David Garlan
- Abstract要約: 我々は,3つの一般的な深層モデルに基づく実験を行い,9つのHP,2つの忠実度次元,2つの攻撃境界を網羅的に探索した。
我々は、この新しいアイデアを最近の多面体(taKG)と組み合わせることで、HPTプロセスの効率を最大2.1倍に向上させることができることを示した。
- 参考スコア(独自算出の注目度): 8.929311633814413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work focuses on the problem of hyper-parameter tuning (HPT) for robust
(i.e., adversarially trained) models, shedding light on the new challenges and
opportunities arising during the HPT process for robust models. To this end, we
conduct an extensive experimental study based on 3 popular deep models, in
which we explore exhaustively 9 (discretized) HPs, 2 fidelity dimensions, and 2
attack bounds, for a total of 19208 configurations (corresponding to 50
thousand GPU hours). Through this study, we show that the complexity of the HPT
problem is further exacerbated in adversarial settings due to the need to
independently tune the HPs used during standard and adversarial training:
succeeding in doing so (i.e., adopting different HP settings in both phases)
can lead to a reduction of up to 80% and 43% of the error for clean and
adversarial inputs, respectively. On the other hand, we also identify new
opportunities to reduce the cost of HPT for robust models. Specifically, we
propose to leverage cheap adversarial training methods to obtain inexpensive,
yet highly correlated, estimations of the quality achievable using
state-of-the-art methods. We show that, by exploiting this novel idea in
conjunction with a recent multi-fidelity optimizer (taKG), the efficiency of
the HPT process can be enhanced by up to 2.1x.
- Abstract(参考訳): この研究は、ロバストモデルのためのハイパーパラメータチューニング(HPT)の問題に焦点を当て、ロバストモデルのためのHPTプロセス中に生じる新しい課題と機会に光を当てる。
この目的のために、我々は3つの一般的なディープモデルに基づく広範な実験研究を行い、合計19208構成(500,000gpu時間に対応する)で、9つの(離散化された)hp、2つの忠実度寸法、2つのアタック境界を徹底的に調査した。
本研究により,HPT問題の複雑性は,標準および逆行訓練で使用するHPを独立的に調整する必要があるため,逆行訓練においてさらに悪化することを示し,その成功(両相で異なるHP設定を採用する)は,クリーン入力と逆行入力のエラーの最大80%と43%の削減につながることを示した。
一方、ロバストモデルにおけるHPTのコスト削減のための新たな機会についても検討する。
具体的には、安価な対人訓練手法を活用して、最先端の手法を用いて達成可能な品質の推定を行う。
我々は、この新しいアイデアを最近の多相最適化器(taKG)と組み合わせることで、HPTプロセスの効率を最大2.1倍に向上させることができることを示した。
関連論文リスト
- Not All Steps are Equal: Efficient Generation with Progressive Diffusion
Models [62.155612146799314]
ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。
初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。
タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
論文 参考訳(メタデータ) (2023-12-20T03:32:58Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - DiffHPE: Robust, Coherent 3D Human Pose Lifting with Diffusion [54.0238087499699]
拡散モデルにより,人間のポーズ推定精度,ロバスト性,コヒーレンス性が向上することを示す。
3D-HPEにおける拡散モデルを利用する新しい戦略であるDiffHPEを紹介する。
以上の結果から, 独立拡散モデルにより, 予測可能な性能が得られる一方で, 教師付きモデルと組み合わせて精度が向上することが示唆された。
論文 参考訳(メタデータ) (2023-09-04T12:54:10Z) - Fast Unsupervised Deep Outlier Model Selection with Hypernetworks [21.283433466754225]
我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。
鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。
HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
論文 参考訳(メタデータ) (2023-07-20T02:07:20Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Unleashing the Potential of Unsupervised Deep Outlier Detection through
Automated Training Stopping [33.99128209697431]
外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。
本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。
私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
論文 参考訳(メタデータ) (2023-05-26T09:39:36Z) - A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。
我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文 参考訳(メタデータ) (2022-12-08T18:56:37Z) - Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a
Scalable Hyper-Ensemble Solution [21.130842136324528]
我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。
我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
論文 参考訳(メタデータ) (2022-06-15T16:46:00Z) - Meta-Learning to Improve Pre-Training [38.75981465367226]
プレトレーニング(PT)とファインチューニング(FT)は、ニューラルネットワークのトレーニングに有効な方法である。
PTは、タスクとデータ再重み付け戦略、拡張ポリシー、ノイズモデルなど、さまざまな設計選択を組み込むことができる。
メタ学習型PTハイパーパラメータに対する効率よく勾配に基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-02T17:26:50Z) - Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。
本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
論文 参考訳(メタデータ) (2021-09-30T08:49:41Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳(メタデータ) (2021-06-17T00:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。