論文の概要: Hyper-parameter Tuning for Adversarially Robust Models

• arxiv url: http://arxiv.org/abs/2304.02497v3
• Date: Thu, 13 Jun 2024 09:17:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-15 02:38:50.643961
• Title: Hyper-parameter Tuning for Adversarially Robust Models
• Title（参考訳）: 逆ロバストモデルのためのハイパーパラメータチューニング
• Authors: Pedro Mendes, Paolo Romano, David Garlan,
• Abstract要約: 我々は,3つの一般的な深層モデルに基づく実験を行い,9つのHP,2つの忠実度次元,2つの攻撃境界を網羅的に探索した。 我々は、この新しいアイデアを最近の多面体(taKG)と組み合わせることで、HPTプロセスの効率を最大2.1倍に向上させることができることを示した。
• 参考スコア（独自算出の注目度）: 7.702016079410588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work focuses on the problem of hyper-parameter tuning (HPT) for robust (i.e., adversarially trained) models, shedding light on the new challenges and opportunities arising during the HPT process for robust models. To this end, we conduct an extensive experimental study based on 3 popular deep models, in which we explore exhaustively 9 (discretized) HPs, 2 fidelity dimensions, and 2 attack bounds, for a total of 19208 configurations (corresponding to 50 thousand GPU hours). Through this study, we show that the complexity of the HPT problem is further exacerbated in adversarial settings due to the need to independently tune the HPs used during standard and adversarial training: succeeding in doing so (i.e., adopting different HP settings in both phases) can lead to a reduction of up to 80% and 43% of the error for clean and adversarial inputs, respectively. On the other hand, we also identify new opportunities to reduce the cost of HPT for robust models. Specifically, we propose to leverage cheap adversarial training methods to obtain inexpensive, yet highly correlated, estimations of the quality achievable using state-of-the-art methods. We show that, by exploiting this novel idea in conjunction with a recent multi-fidelity optimizer (taKG), the efficiency of the HPT process can be enhanced by up to 2.1x.
• Abstract（参考訳）: この研究は、ロバストモデルのためのハイパーパラメータチューニング(HPT)の問題に焦点を当て、ロバストモデルのためのHPTプロセス中に生じる新しい課題と機会に光を当てる。 この目的のために、我々は3つの一般的な深層モデルに基づいて、合計19208個の構成(GPU時間5万時間相当)に対して、徹底的に9個の(離散化された)HP、2つの忠実度次元、2つの攻撃境界を探索する広範囲な実験を行った。 本研究により,HPT問題の複雑性は,標準および逆行訓練で使用するHPを独立的に調整する必要があるため,逆行訓練においてさらに悪化することを示し,その成功(両相で異なるHP設定を採用する)は,クリーン入力と逆行入力のエラーの最大80%と43%の削減につながることを示した。 一方、ロバストモデルにおけるHPTのコスト削減のための新たな機会についても検討する。 具体的には,安価な対人訓練手法を利用して,最先端の手法を用いて達成可能な品質を,安価かつ高い相関で推定することを提案する。 我々は、この新しいアイデアを最近の多相最適化器(taKG)と組み合わせて活用することにより、HPTプロセスの効率を最大2.1倍に向上させることができることを示した。

関連論文リスト

• Scalable and Effective Negative Sample Generation for Hyperedge Prediction [55.9298019975967]
  ハイパーエッジ予測は、Webベースのアプリケーションにおける複雑なマルチエンタリティ相互作用を理解するために不可欠である。 従来の手法では、正と負のインスタンスの不均衡により、高品質な負のサンプルを生成するのが困難であることが多い。 本稿では,これらの課題に対処するために拡散モデルを利用するハイパーエッジ予測(SEHP)フレームワークのスケーラブルで効果的な負のサンプル生成について述べる。
  論文  参考訳（メタデータ） (2024-11-19T09:16:25Z)
• Neural Projected Quantum Dynamics: a systematic study [0.0]
  ニューラル量子状態を用いた大規模システムにおけるユニタリ量子力学のシミュレーションの課題に対処する。 この研究は、予測時間依存変分モンテカルロ法(p-tVMC)の包括的な形式化を提供する。
  論文  参考訳（メタデータ） (2024-10-14T17:01:33Z)
• T2V-Turbo: Breaking the Quality Bottleneck of Video Consistency Model with Mixed Reward Feedback [111.40967379458752]
  本稿では,T2V-Turboについて述べる。T2V-Turboは,様々なモデルから得られるフィードバックを,事前学習したT2Vモデルの一貫性蒸留プロセスに統合する。 興味深いことに、我々のT2V-Turboの4段階の世代は、Gen-2とPikaを抜いてVBenchで最高スコアを達成した。
  論文  参考訳（メタデータ） (2024-05-29T04:26:17Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Fast Unsupervised Deep Outlier Model Selection with Hypernetworks [32.15262629879272]
  我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。 鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。 HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
  論文  参考訳（メタデータ） (2023-07-20T02:07:20Z)
• Unleashing the Potential of Unsupervised Deep Outlier Detection through Automated Training Stopping [33.99128209697431]
  外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。 本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。 私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
  論文  参考訳（メタデータ） (2023-05-26T09:39:36Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution [21.130842136324528]
  我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。 我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
  論文  参考訳（メタデータ） (2022-06-15T16:46:00Z)
• Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
  本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
  論文  参考訳（メタデータ） (2021-09-30T08:49:41Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。