論文の概要: Hyper-parameter Tuning for Adversarially Robust Models
- arxiv url: http://arxiv.org/abs/2304.02497v1
- Date: Wed, 5 Apr 2023 15:12:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 12:15:16.664009
- Title: Hyper-parameter Tuning for Adversarially Robust Models
- Title(参考訳): 逆ロバストモデルに対するハイパーパラメータチューニング
- Authors: Pedro Mendes, Paolo Romano, David Garlan
- Abstract要約: この研究は、ロバストな(対角的に訓練された)モデルに対するハイパーパラメータチューニング(HPT)の問題に焦点を当てている。
以上の結果から,HPT問題の複雑性は,すでに高価であることが知られている。
本稿では,安価かつ高相関な品質評価を行うために,安価な対人訓練手法を活用することを提案する。
- 参考スコア(独自算出の注目度): 8.929311633814413
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work focuses on the problem of hyper-parameter tuning (HPT) for robust
(i.e., adversarially trained) models, with the twofold goal of i) establishing
which additional HPs are relevant to tune in adversarial settings, and ii)
reducing the cost of HPT for robust models. We pursue the first goal via an
extensive experimental study based on 3 recent models widely adopted in the
prior literature on adversarial robustness. Our findings show that the
complexity of the HPT problem, already notoriously expensive, is exacerbated in
adversarial settings due to two main reasons: i) the need of tuning additional
HPs which balance standard and adversarial training; ii) the need of tuning the
HPs of the standard and adversarial training phases independently. Fortunately,
we also identify new opportunities to reduce the cost of HPT for robust models.
Specifically, we propose to leverage cheap adversarial training methods to
obtain inexpensive, yet highly correlated, estimations of the quality
achievable using state-of-the-art methods (PGD). We show that, by exploiting
this novel idea in conjunction with a recent multi-fidelity optimizer (taKG),
the efficiency of the HPT process can be significantly enhanced.
- Abstract(参考訳): 本研究は、高パラメータチューニング(HPT)によるロバストな(対角的に訓練された)モデルの問題に焦点をあてる。
一 敵意設定の調整に係わる追加のhpを確立すること。
二 頑健なモデルに対するHPTのコストを削減すること。
本研究は, 先行研究で広く採用されている3つのモデルをもとに, 広範な実験により最初の目標を追求する。
以上の結果から,HPT問題の複雑度は,2つの主な理由から,対外環境において悪化していることが明らかとなった。
一 標準及び対向訓練のバランスをとる追加のhpのチューニングの必要性
二 標準及び反対訓練段階のHPの調整を独立して行うこと。
幸いにも、ロバストモデルに対するHPTのコスト削減の新たな機会も見出す。
具体的には,安価な対人訓練手法を活用して,最先端技術(PGD)を用いて達成可能な品質を,安価かつ高い相関で推定することを提案する。
提案手法は,最近の多要素最適化器(taKG)と組み合わせることで,HPTプロセスの効率を大幅に向上できることを示す。
関連論文リスト
- Not All Steps are Equal: Efficient Generation with Progressive Diffusion
Models [62.155612146799314]
ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。
初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。
タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
論文 参考訳(メタデータ) (2023-12-20T03:32:58Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - DiffHPE: Robust, Coherent 3D Human Pose Lifting with Diffusion [54.0238087499699]
拡散モデルにより,人間のポーズ推定精度,ロバスト性,コヒーレンス性が向上することを示す。
3D-HPEにおける拡散モデルを利用する新しい戦略であるDiffHPEを紹介する。
以上の結果から, 独立拡散モデルにより, 予測可能な性能が得られる一方で, 教師付きモデルと組み合わせて精度が向上することが示唆された。
論文 参考訳(メタデータ) (2023-09-04T12:54:10Z) - Fast Unsupervised Deep Outlier Model Selection with Hypernetworks [21.283433466754225]
我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。
鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。
HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
論文 参考訳(メタデータ) (2023-07-20T02:07:20Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Unleashing the Potential of Unsupervised Deep Outlier Detection through
Automated Training Stopping [33.99128209697431]
外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。
本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。
私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
論文 参考訳(メタデータ) (2023-05-26T09:39:36Z) - A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。
我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
論文 参考訳(メタデータ) (2022-12-08T18:56:37Z) - Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a
Scalable Hyper-Ensemble Solution [21.130842136324528]
我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。
我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
論文 参考訳(メタデータ) (2022-06-15T16:46:00Z) - Meta-Learning to Improve Pre-Training [38.75981465367226]
プレトレーニング(PT)とファインチューニング(FT)は、ニューラルネットワークのトレーニングに有効な方法である。
PTは、タスクとデータ再重み付け戦略、拡張ポリシー、ノイズモデルなど、さまざまな設計選択を組み込むことができる。
メタ学習型PTハイパーパラメータに対する効率よく勾配に基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-02T17:26:50Z) - Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。
本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
論文 参考訳(メタデータ) (2021-09-30T08:49:41Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳(メタデータ) (2021-06-17T00:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。