Fugu-MT 論文翻訳(概要): Adversarial Training for Gradient Descent: Analysis Through its Continuous-time Approximation

論文の概要: Adversarial Training for Gradient Descent: Analysis Through its Continuous-time Approximation

arxiv url: http://arxiv.org/abs/2105.08037v2
Date: Wed, 24 May 2023 05:37:58 GMT
ステータス: 処理完了
システム内更新日: 2023-05-26 03:49:43.953837
Title: Adversarial Training for Gradient Descent: Analysis Through its Continuous-time Approximation
Title（参考訳）: 勾配降下の逆訓練:その連続時間近似による解析
Authors: Haotian Gu, Xin Guo, Xinyu Li
Abstract要約: 敵対的トレーニングは、ディープニューラルネットワークの最も効果的な防御の1つとして、大いに人気を集めている。本稿では,対戦訓練のミニマックスゲームに対する連続時間近似を確立する。
参考スコア（独自算出の注目度）: 11.389868267342491
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adversarial training has gained great popularity as one of the most effective defenses for deep neural network and more generally for gradient-based machine learning models against adversarial perturbations on data points. This paper establishes a continuous-time approximation for the mini-max game of adversarial training. This approximation approach allows for precise and analytical comparisons between stochastic gradient descent and its adversarial training counterpart; and confirms theoretically the robustness of adversarial training from a new gradient-flow viewpoint. The analysis is then corroborated through various analytical and numerical examples.
Abstract（参考訳）: 敵対的トレーニングは、ディープニューラルネットワークの最も効果的な防御の1つとして、より一般的な勾配ベースの機械学習モデルとして、データポイントにおける敵対的摂動に対して大きな人気を集めている。本稿では,対戦訓練のミニマックスゲームに対する連続時間近似を確立する。この近似アプローチにより,確率的勾配降下と逆流訓練との高精度かつ解析的な比較が可能となり,新しい勾配流の観点からの逆流訓練のロバスト性が理論的に確認できる。分析は、様々な解析的および数値的な例を通して裏付けられる。

関連論文リスト

Decorrelative Network Architecture for Robust Electrocardiogram Classification [4.808817930937323]
すべてのシナリオで正確であるネットワークをトレーニングすることはできない。深層学習法は不確実性を推定するためにモデルパラメータ空間をサンプリングする。これらのパラメータは、しばしば、敵の攻撃によって悪用される、同じ脆弱性にさらされる。本稿では,特徴デコレーションとフーリエ分割に基づく新たなアンサンブル手法を提案する。
論文参考訳（メタデータ） (2022-07-19T02:36:36Z)
Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文参考訳（メタデータ） (2022-03-25T19:57:19Z)
Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
論文参考訳（メタデータ） (2021-10-13T13:54:24Z)
Robust Learning via Persistency of Excitation [4.674053902991301]
勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
論文参考訳（メタデータ） (2021-06-03T18:49:05Z)
A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文参考訳（メタデータ） (2020-10-27T17:56:14Z)
Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
論文参考訳（メタデータ） (2020-10-27T17:55:16Z)
On the Generalization Properties of Adversarial Training [21.79888306754263]
本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
論文参考訳（メタデータ） (2020-08-15T02:32:09Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Convergence of End-to-End Training in Deep Unsupervised Contrastive Learning [3.8073142980733]
教師なしのコントラスト学習は、ラベルのないデータから表現を学習するための強力な方法であることが証明されている。この研究は、これらの教師なし手法の実践的成功に関する理論的知見を提供する。
論文参考訳（メタデータ） (2020-02-17T14:35:21Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。