Fugu-MT 論文翻訳(概要): Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization

論文の概要: Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization

arxiv url: http://arxiv.org/abs/2405.14033v1
Date: Wed, 22 May 2024 22:08:13 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 19:44:34.089959
Title: Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
Title（参考訳）: 凸最適化による2層ポリノミアルおよびReLU活性化ネットワークの逆トレーニング
Authors: Daniel Kuelbs, Sanjay Lall, Mert Pilanci,
Abstract要約: 敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、ディープラーニングにおいて依然として重要な問題である。コンベックスプログラムとして2層ReLUとアクティベーションネットワークのトレーニング問題を再構成する。 2層ReLUネットワークでは、スケーラブルな実装を活用して、Pre-ActivationNet-18データセットの最後の2つの完全に接続されたレイヤをトレーニングします。
参考スコア（独自算出の注目度）: 40.68266398473983
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training neural networks which are robust to adversarial attacks remains an important problem in deep learning, especially as heavily overparameterized models are adopted in safety-critical settings. Drawing from recent work which reformulates the training problems for two-layer ReLU and polynomial activation networks as convex programs, we devise a convex semidefinite program (SDP) for adversarial training of polynomial activation networks via the S-procedure. We also derive a convex SDP to compute the minimum distance from a correctly classified example to the decision boundary of a polynomial activation network. Adversarial training for two-layer ReLU activation networks has been explored in the literature, but, in contrast to prior work, we present a scalable approach which is compatible with standard machine libraries and GPU acceleration. The adversarial training SDP for polynomial activation networks leads to large increases in robust test accuracy against $\ell^\infty$ attacks on the Breast Cancer Wisconsin dataset from the UCI Machine Learning Repository. For two-layer ReLU networks, we leverage our scalable implementation to retrain the final two fully connected layers of a Pre-Activation ResNet-18 model on the CIFAR-10 dataset. Our 'robustified' model achieves higher clean and robust test accuracies than the same architecture trained with sharpness-aware minimization.
Abstract（参考訳）: 敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、特に過度にパラメータ化されたモデルが安全クリティカルな設定で採用されているため、ディープラーニングにおいて依然として重要な問題である。凸プログラムとしての2層ReLUと多項式活性化ネットワークのトレーニング問題を再構成する最近の研究から、Sプロデューサによる多項式活性化ネットワークの対角トレーニングのための凸半定プログラム(SDP)を考案した。また,最小距離を多項式活性化ネットワークの決定境界に正しく分類した例から計算する凸SDPを導出する。 2層ReLUアクティベーションネットワークのアドバイザリトレーニングは文献的に研究されているが、従来の研究とは対照的に、標準的なマシンライブラリやGPUアクセラレーションと互換性のあるスケーラブルなアプローチを提案する。 UCI Machine Learning RepositoryのBreast Cancer Wisconsinデータセットに対する$\ell^\infty$攻撃に対する堅牢なテスト精度の増大につながる。 2層ReLUネットワークでは、CIFAR-10データセット上のPre-Activation ResNet-18モデルの最後の2つの完全に接続されたレイヤをトレーニングするために、スケーラブルな実装を活用します。モデルは、シャープネスを意識した最小化で訓練されたのと同じアーキテクチャよりもクリーンで堅牢なテスト精度を実現する。

関連論文リスト

Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文参考訳（メタデータ） (2024-05-24T14:20:09Z)
Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
論文参考訳（メタデータ） (2024-01-08T18:59:31Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption [33.35896071292604]
推論中に同型暗号化(HE)で実行できる大規模なCNNのトレーニングは難しい。本稿ではResNet-152やConvNeXtモデルのような大規模CNNのための新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-04-26T20:41:37Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文参考訳（メタデータ） (2022-05-26T19:01:19Z)
Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文参考訳（メタデータ） (2022-02-02T23:50:53Z)
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
論文参考訳（メタデータ） (2021-01-07T08:43:01Z)
A Practical Layer-Parallel Training Algorithm for Residual Networks [41.267919563145604]
ResNetのトレーニングのための勾配ベースのアルゴリズムは、通常、入力データの前方パスを必要とし、続いてパラメータを更新するために目的の勾配をバックプロパゲートする。本稿では,データ拡張を実現するための新しいシリアル並列ハイブリッドトレーニング戦略と,通信コスト削減のためのダウンサンプリングフィルタを提案する。
論文参考訳（メタデータ） (2020-09-03T06:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。