Fugu-MT 論文翻訳(概要): Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization

論文の概要: Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization

arxiv url: http://arxiv.org/abs/2405.14033v2
Date: Wed, 16 Oct 2024 17:52:37 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-17 17:35:36.732880
Title: Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
Title（参考訳）: 凸最適化による2層ポリノミアルおよびReLU活性化ネットワークの逆トレーニング
Authors: Daniel Kuelbs, Sanjay Lall, Mert Pilanci,
Abstract要約: 敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、ディープラーニングにおいて依然として重要な問題である。凸プログラムとして2層ReLUおよびfty$アクティベーションネットワークのトレーニング問題を再構成する。本研究では,大規模問題に対する凸対向訓練の実用性を示す。
参考スコア（独自算出の注目度）: 40.68266398473983
License:
Abstract: Training neural networks which are robust to adversarial attacks remains an important problem in deep learning, especially as heavily overparameterized models are adopted in safety-critical settings. Drawing from recent work which reformulates the training problems for two-layer ReLU and polynomial activation networks as convex programs, we devise a convex semidefinite program (SDP) for adversarial training of two-layer polynomial activation networks and prove that the convex SDP achieves the same globally optimal solution as its nonconvex counterpart. The convex SDP is observed to improve robust test accuracy against $\ell_\infty$ attacks relative to the original convex training formulation on multiple datasets. Additionally, we present scalable implementations of adversarial training for two-layer polynomial and ReLU networks which are compatible with standard machine learning libraries and GPU acceleration. Leveraging these implementations, we retrain the final two fully connected layers of a Pre-Activation ResNet-18 model on the CIFAR-10 dataset with both polynomial and ReLU activations. The two `robustified' models achieve significantly higher robust test accuracies against $\ell_\infty$ attacks than a Pre-Activation ResNet-18 model trained with sharpness-aware minimization, demonstrating the practical utility of convex adversarial training on large-scale problems.
Abstract（参考訳）: 敵対的攻撃に対して堅牢なニューラルネットワークのトレーニングは、特に過度にパラメータ化されたモデルが安全クリティカルな設定で採用されているため、ディープラーニングにおいて依然として重要な問題である。凸プログラムとして2層ReLUと多項式活性化ネットワークのトレーニング問題を再構成する最近の研究を参考に、2層多項式活性化ネットワークの対角トレーニングのための凸半定プログラム(SDP)を考案し、凸 SDP が非凸プログラムと同じ大域的最適解を達成することを証明した。凸SDPは、複数のデータセット上の元の凸トレーニング定式化に対して$\ell_\infty$攻撃に対する堅牢なテスト精度を改善するために観察される。さらに、標準的な機械学習ライブラリやGPUアクセラレーションと互換性のある2層多項式およびReLUネットワークに対する対角トレーニングのスケーラブルな実装を提案する。これらの実装を活用することで、CIFAR-10データセット上のPre-Activation ResNet-18モデルの最後の2つの完全に接続された層を多項式とReLUのアクティベーションで再学習する。 2つの 'robustified' モデルは、シャープネスを意識したResNet-18モデルよりも、$\ell_\infty$攻撃に対する堅牢なテスト精度を著しく向上させ、大規模な問題に対する凸逆トレーニングの実用性を実証した。

関連論文リスト

Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
論文参考訳（メタデータ） (2024-05-24T14:20:09Z)
Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
論文参考訳（メタデータ） (2024-01-08T18:59:31Z)
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文参考訳（メタデータ） (2023-09-26T17:42:52Z)
Training Large Scale Polynomial CNNs for E2E Inference over Homomorphic Encryption [33.35896071292604]
推論中に同型暗号化(HE)で実行できる大規模なCNNのトレーニングは難しい。本稿ではResNet-152やConvNeXtモデルのような大規模CNNのための新しいトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-04-26T20:41:37Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文参考訳（メタデータ） (2022-05-26T19:01:19Z)
Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文参考訳（メタデータ） (2022-02-02T23:50:53Z)
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
論文参考訳（メタデータ） (2021-01-07T08:43:01Z)
A Practical Layer-Parallel Training Algorithm for Residual Networks [41.267919563145604]
ResNetのトレーニングのための勾配ベースのアルゴリズムは、通常、入力データの前方パスを必要とし、続いてパラメータを更新するために目的の勾配をバックプロパゲートする。本稿では,データ拡張を実現するための新しいシリアル並列ハイブリッドトレーニング戦略と,通信コスト削減のためのダウンサンプリングフィルタを提案する。
論文参考訳（メタデータ） (2020-09-03T06:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。