Fugu-MT 論文翻訳(概要): SOAR: Second-Order Adversarial Regularization

論文の概要: SOAR: Second-Order Adversarial Regularization

arxiv url: http://arxiv.org/abs/2004.01832v2
Date: Sun, 7 Feb 2021 22:52:49 GMT
ステータス: 処理完了
システム内更新日: 2022-12-16 22:44:02.361884
Title: SOAR: Second-Order Adversarial Regularization
Title（参考訳）: SOAR: 2次逆正則化
Authors: Avery Ma, Fartash Faghri, Nicolas Papernot, Amir-massoud Farahmand
Abstract要約: 敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善するための一般的なアプローチである。本研究では,新しい正規化手法を提案する。提案する2次逆正則化器 (SOAR) は、ロバスト最適化目標における内最大のテイラー近似に基づく上界である。
参考スコア（独自算出の注目度）: 29.83835336491924
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial training is a common approach to improving the robustness of deep neural networks against adversarial examples. In this work, we propose a novel regularization approach as an alternative. To derive the regularizer, we formulate the adversarial robustness problem under the robust optimization framework and approximate the loss function using a second-order Taylor series expansion. Our proposed second-order adversarial regularizer (SOAR) is an upper bound based on the Taylor approximation of the inner-max in the robust optimization objective. We empirically show that the proposed method significantly improves the robustness of networks against the $\ell_\infty$ and $\ell_2$ bounded perturbations generated using cross-entropy-based PGD on CIFAR-10 and SVHN.
Abstract（参考訳）: 敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善するための一般的なアプローチである。本研究では,新しい正規化手法を提案する。正規化子を導出するために,ロバスト最適化枠組みの下で逆ロバスト性問題を定式化し,二次テイラー級数展開を用いて損失関数を近似する。提案する2次逆正則化器(soar)は,ロバスト最適化目的における内部マックスのテイラー近似に基づく上界である。 CIFAR-10 と SVHN 上のクロスエントロピー PGD を用いて生成した $\ell_\infty$ と $\ell_2$ の有界摂動に対して,提案手法はネットワークのロバスト性を大幅に向上させることを示す。

関連論文リスト

Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
論文参考訳（メタデータ） (2024-10-03T08:23:06Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Latent Feature Relation Consistency for Adversarial Robustness [80.24334635105829]
深層ニューラルネットワークは、人間の知覚できない敵のノイズを自然の例に付加する敵の例を予測するときに、誤分類が起こる。 textbfLatent textbfFeature textbfRelation textbfConsistency (textbfLFRC)を提案する。 LFRCは、潜在空間における逆例の関係を、自然例と整合性に制約する。
論文参考訳（メタデータ） (2023-03-29T13:50:01Z)
Provable Robust Saliency-based Explanations [16.217374556142484]
R2ETは, モデル精度を維持しつつ, ステルス攻撃下でのロバスト性が高いことを示す。ネットワークアーキテクチャとデータモダリティの幅広い実験により、R2ETはモデル精度を維持しながら、ステルス攻撃下でのロバスト性が高い説明が得られることが示された。
論文参考訳（メタデータ） (2022-12-28T22:05:32Z)
Robust Imitation via Mirror Descent Inverse Reinforcement Learning [18.941048578572577]
本稿では,制約付き凸問題の反復解である報酬関数列を予測することを提案する。提案したミラー降下更新規則は,ブレグマンの発散を最小化できることを示す。我々のIRL法は, 既存手法よりも高い性能を示した。
論文参考訳（メタデータ） (2022-10-20T12:25:21Z)
Hessian-Free Second-Order Adversarial Examples for Adversarial Learning [6.835470949075655]
厳密に設計された敵の例による敵の学習は、そのような攻撃に対して最も効果的な方法の1つである。既存のほとんどの逆例生成法は1次勾配に基づいており、モデルのロバスト性を改善することはほとんどできない。そこで我々は,この問題をKrylov部分空間の最適化に変換することで,計算複雑性を著しく低減し,学習手順を高速化する近似法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:29:27Z)
On the Convergence and Robustness of Adversarial Training [134.25999006326916]
Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。その結果,提案手法の有効性が示唆された。
論文参考訳（メタデータ） (2021-12-15T17:54:08Z)
Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
論文参考訳（メタデータ） (2021-07-02T16:21:52Z)
Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
論文参考訳（メタデータ） (2021-02-17T16:58:04Z)
Distributionally Robust Bayesian Optimization [121.71766171427433]
そこで本研究では,ゼロ次雑音最適化のための分散ロバストなベイズ最適化アルゴリズム(DRBO)を提案する。提案アルゴリズムは, 種々の設定において, 線形に頑健な後悔を確実に得る。提案手法は, 実世界のベンチマークと実世界のベンチマークの両方において, 頑健な性能を示す。
論文参考訳（メタデータ） (2020-02-20T22:04:30Z)
Optimistic Policy Optimization with Bandit Feedback [70.75568142146493]
我々は,事前の報奨を後悔する$tilde O(sqrtS2 A H4 K)を定め,楽観的な信頼領域ポリシー最適化(TRPO)アルゴリズムを提案する。我々の知る限り、この2つの結果は、未知の遷移と帯域幅フィードバックを持つポリシー最適化アルゴリズムにおいて得られた最初のサブ線形後悔境界である。
論文参考訳（メタデータ） (2020-02-19T15:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。