論文の概要: Constraining Logits by Bounded Function for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2010.02558v1
• Date: Tue, 6 Oct 2020 09:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:00:52.042856
• Title: Constraining Logits by Bounded Function for Adversarial Robustness
• Title（参考訳）: 逆ロバスト性に対する有界関数による制約付きロジット
• Authors: Sekitoshi Kanai, Masanori Yamada, Shin'ya Yamaguchi, Hiroshi Takahashi, Yasutoshi Ida
• Abstract要約: 本稿では,ソフトマックス直前に新たな有界関数を追加することにより,対向ロバスト性を向上させる手法を提案する。 本手法は,敵対的トレーニングを伴わない逆摂動データセットに対する精度の点で,ロジット正規化手法に匹敵する。
• 参考スコア（独自算出の注目度）: 14.916447616855208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for improving adversarial robustness by addition of a new bounded function just before softmax. Recent studies hypothesize that small logits (inputs of softmax) by logit regularization can improve adversarial robustness of deep learning. Following this hypothesis, we analyze norms of logit vectors at the optimal point under the assumption of universal approximation and explore new methods for constraining logits by addition of a bounded function before softmax. We theoretically and empirically reveal that small logits by addition of a common activation function, e.g., hyperbolic tangent, do not improve adversarial robustness since input vectors of the function (pre-logit vectors) can have large norms. From the theoretical findings, we develop the new bounded function. The addition of our function improves adversarial robustness because it makes logit and pre-logit vectors have small norms. Since our method only adds one activation function before softmax, it is easy to combine our method with adversarial training. Our experiments demonstrate that our method is comparable to logit regularization methods in terms of accuracies on adversarially perturbed datasets without adversarial training. Furthermore, it is superior or comparable to logit regularization methods and a recent defense method (TRADES) when using adversarial training.
• Abstract（参考訳）: 本論文では,softmax の直前の新しい有界関数の追加により,逆ロバスト性を改善する手法を提案する。 最近の研究では、ロジット正規化による小さなロジット(ソフトマックスの入力)がディープラーニングの敵対的堅牢性を向上させると仮定している。 この仮説に従い、普遍近似の仮定の下で最適点におけるロジットベクトルのノルムを解析し、softmax の前に有界関数を加えることでロジットを制約する新しい方法を検討する。 理論上, 経験的に, 共有活性化関数(例えば双曲接点)の追加による小ロジットは, 関数の入力ベクトル (pre-logit ベクトル) が大きなノルムを持つので, 対向ロジネスを向上しない。 理論的知見から,我々は新しい有界関数を開発した。 我々の関数の追加は、ロジットベクトルとプレロジットベクトルのノルムが小さいので、対向ロバスト性を改善する。 本手法はsoftmaxの前に1つのアクティベーション関数を追加するので,本手法と逆訓練を組み合わせることは容易である。 実験により,本手法は対向訓練を伴わない逆摂動データセットに対する精度の点で,ロジット正規化法に匹敵することを示した。 さらに、対向訓練を行う際のロジット正規化法や最近の防御法(商標)に匹敵するものである。

関連論文リスト

• On the Last-Iterate Convergence of Shuffling Gradient Methods [21.865728815935665]
  対象値に関して勾配法をシャッフルする際の最終点収束率を初めて証明する。 我々の結果は、(ほぼ)既存のラストイテレートの下限と一致するか、あるいは、平均的なイテレートの前の最高の上限と同速である。
  論文  参考訳（メタデータ） (2024-03-12T15:01:17Z)
• Beyond Expectations: Learning with Stochastic Dominance Made Practical [88.06211893690964]
  支配は、不確実な結果で意思決定を行うためのリスク-逆の選好をモデル化する。 理論上は魅力的だが、機械学習における優位性の応用は乏しい。 まず支配の概念を一般化し、任意の確率変数の任意のペア間の比較を可能にする。 次に、優位性の観点から最適解を見つけるための単純で効率的なアプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-05T03:21:23Z)
• Fast Estimations of Hitting Time of Elitist Evolutionary Algorithms from Fitness Levels [4.605031905884542]
  そこで我々は, 線形下界と上界を適合度で構築するための新しい有向グラフ(グラフ)法を開発した。 この新しい手法の大きな利点は、ショートカットによるフィットネス関数の厳密な下界の導出である。 我々の研究は、簡単なフィットネス機能にショートカットなしで対処することから、より複雑なショートカット機能まで、フィットネスレベルメソッドを著しく拡張した。
  論文  参考訳（メタデータ） (2023-11-17T13:04:42Z)
• Convex Bounds on the Softmax Function with Applications to Robustness Verification [69.09991317119679]
  ソフトマックス関数は、ニューラルネットワークの出力においてユビキタスなコンポーネントであり、中間層もますます多くなっている。 本稿では,ニューラルネットワークや他のMLモデルのキャラクタリゼーションのための凸最適化式と互換性のある,ソフトマックス関数上の凸下界と凹上界を提供する。
  論文  参考訳（メタデータ） (2023-03-03T05:07:02Z)
• Enhancing Classifier Conservativeness and Robustness by Polynomiality [23.099278014212146]
  我々はその状況をいかに改善できるかを示す。 直接的に関連し、単純で、しかし重要な技術的ノベルティは、SoftRmaxです。 我々は,ソフトRmaxの2つの側面,保守性,本質的な頑健性は,逆正則化につながることを示した。
  論文  参考訳（メタデータ） (2022-03-23T19:36:19Z)
• A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
  本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
  論文  参考訳（メタデータ） (2022-01-29T23:02:30Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Provable Benefits of Actor-Critic Methods for Offline Reinforcement Learning [85.50033812217254]
  アクター批判法はオフラインの強化学習に広く用いられているが、理論的にはそれほどよく理解されていない。 ペシミズムの原理を自然に取り入れた新しいオフラインアクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-08-19T17:27:29Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。