論文の概要: Robust Upper Bounds for Adversarial Training

• arxiv url: http://arxiv.org/abs/2112.09279v2
• Date: Thu, 6 Apr 2023 01:50:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 18:32:12.807603
• Title: Robust Upper Bounds for Adversarial Training
• Title（参考訳）: 対向訓練におけるロバスト上界
• Authors: Dimitris Bertsimas, Xavier Boix, Kimberly Villalobos Carballo, Dick den Hertog
• Abstract要約: 敵の損失の上限を最小化することで、敵の訓練に新たなアプローチを導入する。 このバウンダリは、各レイヤの別々のバウンダリではなく、ネットワークの全体的拡張に基づいている。 提案手法により2つの新しい手法を導出する。
• 参考スコア（独自算出の注目度）: 4.971729553254843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many state-of-the-art adversarial training methods for deep learning leverage upper bounds of the adversarial loss to provide security guarantees against adversarial attacks. Yet, these methods rely on convex relaxations to propagate lower and upper bounds for intermediate layers, which affect the tightness of the bound at the output layer. We introduce a new approach to adversarial training by minimizing an upper bound of the adversarial loss that is based on a holistic expansion of the network instead of separate bounds for each layer. This bound is facilitated by state-of-the-art tools from Robust Optimization; it has closed-form and can be effectively trained using backpropagation. We derive two new methods with the proposed approach. The first method (Approximated Robust Upper Bound or aRUB) uses the first order approximation of the network as well as basic tools from Linear Robust Optimization to obtain an empirical upper bound of the adversarial loss that can be easily implemented. The second method (Robust Upper Bound or RUB), computes a provable upper bound of the adversarial loss. Across a variety of tabular and vision data sets we demonstrate the effectiveness of our approach -- RUB is substantially more robust than state-of-the-art methods for larger perturbations, while aRUB matches the performance of state-of-the-art methods for small perturbations.
• Abstract（参考訳）: ディープラーニングのための最先端の敵訓練手法の多くは、敵の損失の上限を利用して、敵の攻撃に対するセキュリティ保証を提供する。 しかし、これらの方法は、中間層の下層および上層境界を伝播する凸緩和に依存しており、出力層における境界の密着性に影響を与える。 本稿では,各層に対する分離境界ではなく,ネットワークの全体的拡張に基づく対向損失の上限を最小化することにより,対向訓練に対する新たなアプローチを提案する。 このバウンダリはRobust Optimizationの最先端ツールによって実現されており、クローズドフォームを持ち、バックプロパゲーションを使って効果的にトレーニングすることができる。 提案手法により2つの新しい手法を導出する。 最初の手法 (Approximated Robust Upper Bound, aRUB) は、ネットワークの第一次近似と線形ロバスト最適化の基本的なツールを用いて、容易に実装可能な対向損失の実験的上界を得る。 第2の方法(Robust Upper Bound, RUB)は、対向損失の証明可能な上限を計算する。 rubはより大きな摂動に対して最先端のメソッドよりも大幅に堅牢であり、arubは小さな摂動に対して最先端のメソッドのパフォーマンスにマッチしています。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Reliably fast adversarial training via latent adversarial perturbation [5.444459446244819]
  上述のオーバーヘッドコストを軽減するため, 単段階潜時対向訓練法を提案する。 構造的な単純さにもかかわらず、提案手法は最先端の加速型敵対的トレーニング方法よりも優れている。
  論文  参考訳（メタデータ） (2021-04-04T09:47:38Z)
• Edge-Preserving Guided Semantic Segmentation for VIPriors Challenge [3.435043566706133]
  現在の最先端およびディープラーニングに基づくセマンティックセマンティックセグメンテーション技術は、よく訓練することは難しい。 付加的な事前情報を得るためのエッジ保存ガイダンスを提案する。 実験により,提案手法は小型のトレーニングセットで優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-07-17T11:49:10Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。