論文の概要: Is ReLU Adversarially Robust?

• arxiv url: http://arxiv.org/abs/2405.03777v1
• Date: Mon, 6 May 2024 18:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:14:30.662840
• Title: Is ReLU Adversarially Robust?
• Title（参考訳）: ReLUは反対にロバストか?
• Authors: Korn Sooksatra, Greg Hamerly, Pablo Rivas,
• Abstract要約: 本稿では,正則線形単位(ReLU)活性化関数の逆例生成における役割に着目した。 本稿では,ReLU関数の修正版を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The efficacy of deep learning models has been called into question by the presence of adversarial examples. Addressing the vulnerability of deep learning models to adversarial examples is crucial for ensuring their continued development and deployment. In this work, we focus on the role of rectified linear unit (ReLU) activation functions in the generation of adversarial examples. ReLU functions are commonly used in deep learning models because they facilitate the training process. However, our empirical analysis demonstrates that ReLU functions are not robust against adversarial examples. We propose a modified version of the ReLU function, which improves robustness against adversarial examples. Our results are supported by an experiment, which confirms the effectiveness of our proposed modification. Additionally, we demonstrate that applying adversarial training to our customized model further enhances its robustness compared to a general model.
• Abstract（参考訳）: ディープラーニングモデルの有効性は、敵対的な例の存在によって疑問視されている。 ディープラーニングモデルの脆弱性を敵の例に対処することは、開発とデプロイメントの継続を保証する上で極めて重要です。 本研究では,正則線形単位(rerectified linear unit, ReLU)アクティベーション関数の逆例生成における役割に着目した。 ReLU関数は、訓練プロセスを容易にするため、ディープラーニングモデルで一般的に使用される。 しかし、我々の経験的分析により、ReLU関数は敵の例に対して頑健でないことが示されている。 本稿では,ReLU関数の修正版を提案する。 本研究の結果は,提案手法の有効性を確認する実験によって裏付けられている。 さらに、我々のカスタマイズしたモデルに敵対的トレーニングを適用することで、一般的なモデルと比較してその堅牢性がさらに向上することを示す。

関連論文リスト

• Recursive Introspection: Teaching Language Model Agents How to Self-Improve [30.086494067593268]
  RISE: Recursive IntroSpEctionは,大規模言語モデルを微調整する手法である。 実験の結果,RISEはLlama2,Llama3,Mistralの各モデルに対して,数学推論タスクのターン数を増やすことで自己改善を可能にすることがわかった。
  論文  参考訳（メタデータ） (2024-07-25T17:35:59Z)
• Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates [13.911586916369108]
  機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。 この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。 我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
  論文  参考訳（メタデータ） (2024-02-27T10:37:13Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• RewardsOfSum: Exploring Reinforcement Learning Rewards for Summarisation [7.0471949371778795]
  本稿では,抽象的な要約作業に対する2つの報酬関数を提案する。 最初の関数はRwB-Hingeと呼ばれ、勾配更新のサンプルを動的に選択する。 第2の機能はRISKと呼ばれ、強力な候補者の小さなプールを利用して報酬を知らせる。
  論文  参考訳（メタデータ） (2021-06-08T03:30:50Z)
• Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
  我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
  論文  参考訳（メタデータ） (2021-04-05T03:58:30Z)
• Adversarial Examples for Unsupervised Machine Learning Models [71.81480647638529]
  回避予測を引き起こすアドリラルな例は、機械学習モデルの堅牢性を評価し改善するために広く利用されている。 教師なしモデルに対する逆例生成の枠組みを提案し,データ拡張への新たな応用を実証する。
  論文  参考訳（メタデータ） (2021-03-02T17:47:58Z)
• Effects of the Nonlinearity in Activation Functions on the Performance of Deep Learning Models [4.628405501302229]
  本稿では、ReLUやL-ReLUを異なるモデルアーキテクチャやデータドメインのアクティベーション関数として使用する際のモデル性能について検討する。 モデル内のトレーニング可能なパラメータの数が比較的少ない場合,L-ReLUの適用はほとんど有効であることがわかった。 さらに, 画像分類モデルはL-ReLUと完全に連結した層でよく機能することがわかった。
  論文  参考訳（メタデータ） (2020-10-14T18:48:59Z)
• Exposing Shallow Heuristics of Relation Extraction Models with Challenge Data [49.378860065474875]
  我々は、TACREDで訓練されたSOTA関係抽出(RE)モデルの故障モードを同定する。 トレーニングの例として、いくつかの課題データを追加することで、モデルのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-10-07T21:17:25Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。