論文の概要: A Robust Optimization Approach to Deep Learning

• arxiv url: http://arxiv.org/abs/2112.09279v1
• Date: Fri, 17 Dec 2021 01:52:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 03:33:51.035588
• Title: A Robust Optimization Approach to Deep Learning
• Title（参考訳）: 深層学習におけるロバスト最適化手法
• Authors: Dimitris Bertsimas, Xavier Boix, Kimberly Villalobos Carballo, Dick den Hertog
• Abstract要約: 多くの最先端の敵の訓練方法は、敵の損失の上限を有効活用し、セキュリティ保証を提供する。 我々は, 対向的損失の上限の閉形式解に基づく, 対向的トレーニングに対する, より原則化された新しいアプローチを導入する。
• 参考スコア（独自算出の注目度）: 5.3909333359654275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many state-of-the-art adversarial training methods leverage upper bounds of the adversarial loss to provide security guarantees. Yet, these methods require computations at each training step that can not be incorporated in the gradient for backpropagation. We introduce a new, more principled approach to adversarial training based on a closed form solution of an upper bound of the adversarial loss, which can be effectively trained with backpropagation. This bound is facilitated by state-of-the-art tools from robust optimization. We derive two new methods with our approach. The first method (Approximated Robust Upper Bound or aRUB) uses the first order approximation of the network as well as basic tools from linear robust optimization to obtain an approximate upper bound of the adversarial loss that can be easily implemented. The second method (Robust Upper Bound or RUB), computes an exact upper bound of the adversarial loss. Across a variety of tabular and vision data sets we demonstrate the effectiveness of our more principled approach -- RUB is substantially more robust than state-of-the-art methods for larger perturbations, while aRUB matches the performance of state-of-the-art methods for small perturbations. Also, both RUB and aRUB run faster than standard adversarial training (at the expense of an increase in memory). All the code to reproduce the results can be found at https://github.com/kimvc7/Robustness.
• Abstract（参考訳）: 多くの最先端の敵の訓練方法は、敵の損失の上限を利用してセキュリティの保証を提供する。 しかし、これらの方法は、バックプロパゲーションの勾配に組み込めない各トレーニングステップでの計算を必要とする。 本稿では, 逆行法により効果的に訓練可能な, 対向損失の上界の閉じた解法に基づく, 対向トレーニングに対する新たな, より原則化されたアプローチを提案する。 この境界は、堅牢な最適化から最先端のツールによって促進される。 私たちはアプローチで2つの新しい方法を導出します。 最初の手法 (Approximated Robust Upper Bound, ARUB) は、線形ロバスト最適化による基本ツールと同様にネットワークの第1次近似を用いて、容易に実装可能な対向損失の近似上界を求める。 第2の方法(Robust Upper Bound, RUB)は、対向損失の正確な上限を計算する。 rubはより大きな摂動に対して最先端のメソッドよりも大幅に堅牢であり、arubは小さな摂動に対して最先端のメソッドのパフォーマンスにマッチしています。 また、RUBとARUBは、(メモリの増加を犠牲にして)標準の敵トレーニングよりも高速に実行される。 結果を再現するコードはhttps://github.com/kimvc7/robustnessにある。

関連論文リスト

• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースのシナリオにおける2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Edge-Preserving Guided Semantic Segmentation for VIPriors Challenge [3.435043566706133]
  現在の最先端およびディープラーニングに基づくセマンティックセマンティックセグメンテーション技術は、よく訓練することは難しい。 付加的な事前情報を得るためのエッジ保存ガイダンスを提案する。 実験により,提案手法は小型のトレーニングセットで優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-07-17T11:49:10Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。