論文の概要: Hyper-parameter Tuning for Adversarially Robust Models

• arxiv url: http://arxiv.org/abs/2304.02497v1
• Date: Wed, 5 Apr 2023 15:12:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 12:15:16.664009
• Title: Hyper-parameter Tuning for Adversarially Robust Models
• Title（参考訳）: 逆ロバストモデルに対するハイパーパラメータチューニング
• Authors: Pedro Mendes, Paolo Romano, David Garlan
• Abstract要約: この研究は、ロバストな(対角的に訓練された)モデルに対するハイパーパラメータチューニング(HPT)の問題に焦点を当てている。 以上の結果から,HPT問題の複雑性は,すでに高価であることが知られている。 本稿では,安価かつ高相関な品質評価を行うために,安価な対人訓練手法を活用することを提案する。
• 参考スコア（独自算出の注目度）: 8.929311633814413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work focuses on the problem of hyper-parameter tuning (HPT) for robust (i.e., adversarially trained) models, with the twofold goal of i) establishing which additional HPs are relevant to tune in adversarial settings, and ii) reducing the cost of HPT for robust models. We pursue the first goal via an extensive experimental study based on 3 recent models widely adopted in the prior literature on adversarial robustness. Our findings show that the complexity of the HPT problem, already notoriously expensive, is exacerbated in adversarial settings due to two main reasons: i) the need of tuning additional HPs which balance standard and adversarial training; ii) the need of tuning the HPs of the standard and adversarial training phases independently. Fortunately, we also identify new opportunities to reduce the cost of HPT for robust models. Specifically, we propose to leverage cheap adversarial training methods to obtain inexpensive, yet highly correlated, estimations of the quality achievable using state-of-the-art methods (PGD). We show that, by exploiting this novel idea in conjunction with a recent multi-fidelity optimizer (taKG), the efficiency of the HPT process can be significantly enhanced.
• Abstract（参考訳）: 本研究は、高パラメータチューニング(HPT)によるロバストな(対角的に訓練された)モデルの問題に焦点をあてる。 一 敵意設定の調整に係わる追加のhpを確立すること。 二 頑健なモデルに対するHPTのコストを削減すること。 本研究は, 先行研究で広く採用されている3つのモデルをもとに, 広範な実験により最初の目標を追求する。 以上の結果から,HPT問題の複雑度は,2つの主な理由から,対外環境において悪化していることが明らかとなった。 一 標準及び対向訓練のバランスをとる追加のhpのチューニングの必要性 二 標準及び反対訓練段階のHPの調整を独立して行うこと。 幸いにも、ロバストモデルに対するHPTのコスト削減の新たな機会も見出す。 具体的には,安価な対人訓練手法を活用して,最先端技術(PGD)を用いて達成可能な品質を,安価かつ高い相関で推定することを提案する。 提案手法は,最近の多要素最適化器(taKG)と組み合わせることで,HPTプロセスの効率を大幅に向上できることを示す。

関連論文リスト

• Scalable and Effective Negative Sample Generation for Hyperedge Prediction [55.9298019975967]
  ハイパーエッジ予測は、Webベースのアプリケーションにおける複雑なマルチエンタリティ相互作用を理解するために不可欠である。 従来の手法では、正と負のインスタンスの不均衡により、高品質な負のサンプルを生成するのが困難であることが多い。 本稿では,これらの課題に対処するために拡散モデルを利用するハイパーエッジ予測(SEHP)フレームワークのスケーラブルで効果的な負のサンプル生成について述べる。
  論文  参考訳（メタデータ） (2024-11-19T09:16:25Z)
• Neural Projected Quantum Dynamics: a systematic study [0.0]
  ニューラル量子状態を用いた大規模システムにおけるユニタリ量子力学のシミュレーションの課題に対処する。 この研究は、予測時間依存変分モンテカルロ法(p-tVMC)の包括的な形式化を提供する。
  論文  参考訳（メタデータ） (2024-10-14T17:01:33Z)
• T2V-Turbo: Breaking the Quality Bottleneck of Video Consistency Model with Mixed Reward Feedback [111.40967379458752]
  本稿では,T2V-Turboについて述べる。T2V-Turboは,様々なモデルから得られるフィードバックを,事前学習したT2Vモデルの一貫性蒸留プロセスに統合する。 興味深いことに、我々のT2V-Turboの4段階の世代は、Gen-2とPikaを抜いてVBenchで最高スコアを達成した。
  論文  参考訳（メタデータ） (2024-05-29T04:26:17Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Fast Unsupervised Deep Outlier Model Selection with Hypernetworks [32.15262629879272]
  我々はDODモデルのチューニングにHYPERを導入し、監視なしでの検証とHP/モデル空間の効率的な探索という2つの基本的な課題に対処する。 鍵となるアイデアは、HPをメインのDODモデルの最適な重みにマッピングする新しいハイパーネットワーク(HN)を設計し、訓練することである。 HYPERは、多くのDODモデルの重みを動的に生成できる単一のHNを利用する。
  論文  参考訳（メタデータ） (2023-07-20T02:07:20Z)
• Unleashing the Potential of Unsupervised Deep Outlier Detection through Automated Training Stopping [33.99128209697431]
  外乱検出(OD)は広く応用されているため、継続的な研究の関心を集めている。 本稿では,トレーニング中のモデル性能を内部的に評価するために,損失エントロピーと呼ばれる新しい指標を提案する。 私たちのアプローチは、ラベルを必要とせず、トレーニング中に最適なトレーニングを確実に特定できる最初の方法です。
  論文  参考訳（メタデータ） (2023-05-26T09:39:36Z)
• A New Linear Scaling Rule for Private Adaptive Hyperparameter Optimization [57.450449884166346]
  本稿では,HPOのプライバシコストを考慮した適応型HPO法を提案する。 我々は22のベンチマークタスク、コンピュータビジョンと自然言語処理、事前学習と微調整で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2022-12-08T18:56:37Z)
• Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution [21.130842136324528]
  我々は,Deep OD法のHP感度に関する最初の大規模解析を行った。 我々は,HP 構成の異なるモデルを組み立てる ROBOD と呼ばれる HP-robust でスケーラブルな深層アンサンブルモデルを設計する。
  論文  参考訳（メタデータ） (2022-06-15T16:46:00Z)
• Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
  本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
  論文  参考訳（メタデータ） (2021-09-30T08:49:41Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。