Fugu-MT 論文翻訳(概要): SPLASH: Learnable Activation Functions for Improving Accuracy and Adversarial Robustness

論文の概要: SPLASH: Learnable Activation Functions for Improving Accuracy and Adversarial Robustness

arxiv url: http://arxiv.org/abs/2006.08947v1
Date: Tue, 16 Jun 2020 06:45:55 GMT
ステータス: 処理完了
システム内更新日: 2022-11-20 18:35:00.991988
Title: SPLASH: Learnable Activation Functions for Improving Accuracy and Adversarial Robustness
Title（参考訳）: SPLASH: 精度と対向ロバスト性を改善するための学習可能なアクティベーション機能
Authors: Mohammadamin Tavakoli, Forest Agostinelli, Pierre Baldi
Abstract要約: SPLASHユニットは、ディープニューラルネットワークの精度を同時に向上し、敵攻撃に対する堅牢性を向上させる。他の9つの学習および固定されたアクティベーション関数と比較して、SPLASHユニットは3つのデータセット間で優れたパフォーマンスを示す。ブラックボックス攻撃とオープンボックス攻撃の両方に対する実験により、SPLASHユニットはReLUの代わりにSPLASHユニットを使用することで、敵攻撃に対して最大31%の堅牢性が得られることが示された。
参考スコア（独自算出の注目度）: 8.16059648920805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce SPLASH units, a class of learnable activation functions shown to simultaneously improve the accuracy of deep neural networks while also improving their robustness to adversarial attacks. SPLASH units have both a simple parameterization and maintain the ability to approximate a wide range of non-linear functions. SPLASH units are: 1) continuous; 2) grounded (f(0) = 0); 3) use symmetric hinges; and 4) the locations of the hinges are derived directly from the data (i.e. no learning required). Compared to nine other learned and fixed activation functions, including ReLU and its variants, SPLASH units show superior performance across three datasets (MNIST, CIFAR-10, and CIFAR-100) and four architectures (LeNet5, All-CNN, ResNet-20, and Network-in-Network). Furthermore, we show that SPLASH units significantly increase the robustness of deep neural networks to adversarial attacks. Our experiments on both black-box and open-box adversarial attacks show that commonly-used architectures, namely LeNet5, All-CNN, ResNet-20, and Network-in-Network, can be up to 31% more robust to adversarial attacks by simply using SPLASH units instead of ReLUs.
Abstract（参考訳）: SPLASHユニットは、深層ニューラルネットワークの精度を同時に向上すると同時に、敵攻撃に対する堅牢性を向上する学習可能なアクティベーション機能である。 SPLASHユニットは単純なパラメータ化を持ち、幅広い非線形関数を近似する能力を維持する。 SPLASHユニット: 1)連続 2) 接地 (f(0) = 0) である。 3) 対称ヒンジを使用し, そして 4)ヒンジの位置は、データから直接導出される(すなわち、学習を必要としない)。 ReLUとその変種を含む9つの学習および固定活性化関数と比較して、SPLASHユニットは3つのデータセット(MNIST、CIFAR-10、CIFAR-100)と4つのアーキテクチャ(LeNet5、All-CNN、ResNet-20、Network-in-Network)で優れたパフォーマンスを示している。さらに、SPLASHユニットは、敵攻撃に対するディープニューラルネットワークの堅牢性を大幅に向上させることを示した。ブラックボックス攻撃とオープンボックス攻撃の両方に対する実験により、一般に使われているアーキテクチャ、すなわちLeNet5、All-CNN、ResNet-20、Network-in-Networkは、ReLUの代わりにSPLASHユニットを使用することで、敵攻撃に対して最大で31%堅牢であることが示された。

関連論文リスト

Kolmogorov-Arnold Transformer [72.88137795439407]
Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。これらの設計により、KATは従来のトランスフォーマーよりも優れている。
論文参考訳（メタデータ） (2024-09-16T17:54:51Z)
Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
論文参考訳（メタデータ） (2024-08-28T11:12:27Z)
A Non-monotonic Smooth Activation Function [4.269446061678759]
活性化関数は、ネットワークに非線形性を導入するため、ディープラーニングモデルにおいて不可欠である。本研究では,非単調かつ滑らかな機能であるSqishと呼ばれる新しいアクティベーション関数を提案する。分類,物体検出,セグメンテーションタスク,対向ロバストネス実験において,その優位性を示した。
論文参考訳（メタデータ） (2023-10-16T07:09:47Z)
Learning Activation Functions for Sparse Neural Networks [12.234742322758418]
スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
論文参考訳（メタデータ） (2023-05-18T13:30:29Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
Sparta: Spatially Attentive and Adversarially Robust Activation [17.021748192532964]
我々は,ロバストcnnにおける基本relu活性化成分の役割について検討した。 ReLUアクティベーションの空間共有および入力非依存性により、CNNはホワイトボックスの敵対攻撃に対する堅牢性が低下する。この問題を解決するため、ReLUを新しいSpartaアクティベーション関数に拡張します。
論文参考訳（メタデータ） (2021-05-18T04:36:46Z)
Learning specialized activation functions with the Piecewise Linear Unit [7.820667552233989]
本稿では, 注意深く設計した定式化学習法を組み込んだ, 区分線形単位 (pwlu) と呼ばれる新しい活性化関数を提案する。特殊なアクティベーション機能を学び、ImageNetやCOCOなどの大規模データセットでSOTA性能を達成できます。 PWLUは推論時に実装も簡単で効率も良く、現実世界のアプリケーションにも広く適用できる。
論文参考訳（メタデータ） (2021-04-08T11:29:11Z)
GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
論文参考訳（メタデータ） (2021-01-21T10:09:47Z)
When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文参考訳（メタデータ） (2020-04-19T08:34:52Z)
Improved Residual Networks for Image and Video Recognition [98.10703825716142]
ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。ベースライン上での精度と学習収束性を一貫した改善を示す。提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
論文参考訳（メタデータ） (2020-04-10T11:09:50Z)
ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
論文参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。