論文の概要: Smoothness Analysis of Loss Functions of Adversarial Training
- arxiv url: http://arxiv.org/abs/2103.01400v1
- Date: Tue, 2 Mar 2021 01:27:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:32:50.864965
- Title: Smoothness Analysis of Loss Functions of Adversarial Training
- Title（参考訳）: 対人訓練における損失関数の平滑性解析
- Authors: Sekitoshi Kanai, Masanori Yamada, Hiroshi Takahashi, Yuki Yamanaka,
Yasutoshi Ida
- Abstract要約: 二元線形分類のための逆訓練の損失関数の滑らかさを解析した。
L2制約の下では、反対損失はゼロを除いて滑らかである。
- 参考スコア（独自算出の注目度）: 18.701557447364102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks are vulnerable to adversarial attacks. Recent studies of
adversarial robustness focus on the loss landscape in the parameter space since
it is related to optimization performance. These studies conclude that it is
hard to optimize the loss function for adversarial training with respect to
parameters because the loss function is not smooth: i.e., its gradient is not
Lipschitz continuous. However, this analysis ignores the dependence of
adversarial attacks on parameters. Since adversarial attacks are the worst
noise for the models, they should depend on the parameters of the models. In
this study, we analyze the smoothness of the loss function of adversarial
training for binary linear classification considering the dependence. We reveal
that the Lipschitz continuity depends on the types of constraints of
adversarial attacks in this case. Specifically, under the L2 constraints, the
adversarial loss is smooth except at zero.
- Abstract（参考訳）: ディープニューラルネットワークは敵の攻撃に弱い。
対比ロバスト性に関する最近の研究は、最適化性能に関連しているため、パラメータ空間の損失ランドスケープに焦点を当てている。
これらの研究は、損失関数が滑らかでない、すなわちその勾配がリプシッツ連続ではないため、パラメータに関する逆トレーニングの損失関数を最適化することは難しいと結論付けている。
しかし、この分析は、パラメータに対する敵対攻撃の依存を無視します。
敵の攻撃はモデルにとって最悪のノイズであるため、モデルのパラメータに依存するべきである。
本研究では, 依存度を考慮した二分線形分類のための対向学習における損失関数の滑らかさを解析する。
リプシッツ連続性は、この場合の敵対攻撃の制約の種類に依存することが明らかとなった。
特に、L2 の制約の下では、逆損失は 0 を除いて滑らかである。
関連論文リスト
- LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。
我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-12T17:08:31Z) - Large Margin Discriminative Loss for Classification [3.3975558777609915]
本稿では,Deep Learning の文脈において,大きなマージンを持つ新たな識別的損失関数を提案する。
この損失は、クラス内コンパクト性とクラス間分離性によって表されるニューラルネットの識別力を高める。
論文 参考訳（メタデータ） (2024-05-28T18:10:45Z) - Mitigating Privacy Risk in Membership Inference by Convex-Concave Loss [16.399746814823025]
機械学習モデルは、トレーニングセットにサンプルがあるかどうかを推測することを目的とした、メンバシップ推論攻撃(MIA)の影響を受けやすい。
既存の作業では、勾配上昇を利用してトレーニングデータの損失分散を拡大し、プライバシリスクを軽減する。
本稿では,勾配降下によるトレーニング損失分布の分散化を可能にする新しい手法であるConvex-Concave Lossを提案する。
論文 参考訳（メタデータ） (2024-02-08T07:14:17Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Evaluating the Impact of Loss Function Variation in Deep Learning for
Classification [0.0]
損失関数は間違いなく、ニューラルネットワークにとって最も重要なハイパーパラメータの1つである。
ニューラルネットワークを教師付き分類設定で検討し、損失関数の選択がトレーニング結果に与える影響を分析する。
特定の損失関数は過度に最適に機能するが、我々の研究は、表現不足の損失が最先端の選択肢を大幅に上回っていることを実証的に示している。
論文 参考訳（メタデータ） (2022-10-28T09:10:10Z) - Between Stochastic and Adversarial Online Convex Optimization: Improved
Regret Bounds via Smoothness [2.628557920905129]
我々は,オンライン凸最適化において,対人的損失と完全対人的損失を補間する新たな後悔境界を確立する。
この目的を達成するために、損失系列に関連する2つの重要な量を導入し、累積分散と対角変動と呼ぶ。
完全な i.d. の場合、我々の境界は加速の結果から期待される速度と一致し、完全に反対の場合、ミニマックスの後悔と一致するように優雅に劣化する。
論文 参考訳（メタデータ） (2022-02-15T16:39:33Z) - Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。
この相違は, 目的の強調安定性によるものであることを示す。
大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
論文 参考訳（メタデータ） (2020-06-27T13:52:07Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳（メタデータ） (2020-05-28T02:40:42Z) - On Learning Rates and Schr\"odinger Operators [105.32118775014015]
本稿では,学習率の影響に関する一般的な理論的分析を行う。
学習速度は、幅広い非ニューラルクラス関数に対してゼロとなる傾向にある。
論文 参考訳（メタデータ） (2020-04-15T09:52:37Z) - Over-parameterized Adversarial Training: An Analysis Overcoming the
Curse of Dimensionality [74.0084803220897]
逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。
自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
論文 参考訳（メタデータ） (2020-02-16T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。