論文の概要: Beyond Dropout: Robust Convolutional Neural Networks Based on Local Feature Masking
- arxiv url: http://arxiv.org/abs/2407.13646v1
- Date: Thu, 18 Jul 2024 16:25:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:41:26.059008
- Title: Beyond Dropout: Robust Convolutional Neural Networks Based on Local Feature Masking
- Title（参考訳）: ドロップアウトを超えて:局所的な特徴マスキングに基づくロバストな畳み込みニューラルネットワーク
- Authors: Yunpeng Gong, Chuangliang Zhang, Yongjie Hou, Lifei Chen, Min Jiang,
- Abstract要約: 本研究では、畳み込みニューラルネットワーク(CNN)の性能向上を目的とした、革新的なローカル特徴マスキング(LFM)戦略を紹介する。
トレーニング期間中、我々はCNNの浅い層にランダムな特徴マスキングを戦略的に組み込む。
LFMは、ある意味的特徴の欠如を補うために残りの特徴を活用することで、ネットワークを補完する。
- 参考スコア（独自算出の注目度）: 6.189613073024831
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the contemporary of deep learning, where models often grapple with the challenge of simultaneously achieving robustness against adversarial attacks and strong generalization capabilities, this study introduces an innovative Local Feature Masking (LFM) strategy aimed at fortifying the performance of Convolutional Neural Networks (CNNs) on both fronts. During the training phase, we strategically incorporate random feature masking in the shallow layers of CNNs, effectively alleviating overfitting issues, thereby enhancing the model's generalization ability and bolstering its resilience to adversarial attacks. LFM compels the network to adapt by leveraging remaining features to compensate for the absence of certain semantic features, nurturing a more elastic feature learning mechanism. The efficacy of LFM is substantiated through a series of quantitative and qualitative assessments, collectively showcasing a consistent and significant improvement in CNN's generalization ability and resistance against adversarial attacks--a phenomenon not observed in current and prior methodologies. The seamless integration of LFM into established CNN frameworks underscores its potential to advance both generalization and adversarial robustness within the deep learning paradigm. Through comprehensive experiments, including robust person re-identification baseline generalization experiments and adversarial attack experiments, we demonstrate the substantial enhancements offered by LFM in addressing the aforementioned challenges. This contribution represents a noteworthy stride in advancing robust neural network architectures.
- Abstract（参考訳）: そこで本研究では,両面での畳み込みニューラルネットワーク(CNN)の性能向上を目的とした,進化的局所特徴マスキング(LFM)戦略を導入する。
トレーニング期間中、我々はCNNの浅い層にランダムな特徴マスキングを戦略的に組み込み、オーバーフィッティング問題を効果的に軽減し、モデルの一般化能力を高め、敵攻撃に対するレジリエンスを高める。
LFMは、ある意味的特徴の欠如を補うために残りの特徴を活用することで、ネットワークを補完し、より弾力的な特徴学習メカニズムを育む。
LFMの有効性は、CNNの一般化能力と敵の攻撃に対する抵抗の一貫性と顕著な改善を示す一連の定量的および質的な評価を通じて実証されている。
LFMの確立したCNNフレームワークへのシームレスな統合は、ディープラーニングパラダイムにおける一般化と敵の堅牢性の両方を前進させる可能性を示している。
強靭な人物再同定ベースライン一般化実験や敵攻撃実験を含む包括的実験を通じて、上記の課題に対処する上で、LFMがもたらす実質的な拡張を実証する。
この貢献は、堅牢なニューラルネットワークアーキテクチャを進化させる上で、注目すべき一歩である。
関連論文リスト
- Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。
従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。
本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
論文 参考訳（メタデータ） (2024-10-19T18:35:52Z) - Towards Evaluating the Robustness of Visual State Space Models [63.14954591606638]
視覚状態空間モデル(VSSM)は視覚知覚タスクにおいて顕著な性能を示した。
しかし、自然と敵対的な摂動の下での頑丈さは依然として重要な懸念事項である。
様々な摂動シナリオ下でのVSSMの頑健さを総合的に評価する。
論文 参考訳（メタデータ） (2024-06-13T17:59:44Z) - Dynamic Perturbation-Adaptive Adversarial Training on Medical Image
Classification [9.039586043401972]
敵の例(AE)は生データと知覚不可能な類似性を示し、ネットワークの堅牢性に対する深刻な懸念を提起した。
本稿では,ATを動的学習環境に配置し,適応型データレベルの摂動を生成する動的摂動適応対向訓練(DPAAT)手法を提案する。
HAM10000データセットの総合的な試験により、DPAATはより堅牢性の向上と一般化保存を達成できただけでなく、平均精度と解釈可能性を大幅に向上した。
論文 参考訳（メタデータ） (2024-03-11T15:16:20Z) - The Effectiveness of Random Forgetting for Robust Generalization [21.163070161951868]
我々は,FOMO(Fordt to Mitigate Overfitting)と呼ばれる新しい学習パラダイムを導入する。
FOMOは、重みのサブセットをランダムに忘れる忘れ相と、一般化可能な特徴の学習を強調する再学習相とを交互に扱う。
実験の結果, FOMOは最良と最終ロバストなテスト精度のギャップを大幅に減らし, 頑健なオーバーフィッティングを緩和することがわかった。
論文 参考訳（メタデータ） (2024-02-18T23:14:40Z) - Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts [10.27974860479791]
本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。
提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
論文 参考訳（メタデータ） (2023-11-16T20:09:47Z) - FACADE: A Framework for Adversarial Circuit Anomaly Detection and
Evaluation [9.025997629442896]
FACADEは、ディープニューラルネットワークにおける教師なしの機械的異常検出のために設計されている。
我々のアプローチは、モデルの堅牢性を改善し、スケーラブルなモデル監視を強化し、現実のデプロイメント環境で有望なアプリケーションを実証することを目指している。
論文 参考訳（メタデータ） (2023-07-20T04:00:37Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。
本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文 参考訳（メタデータ） (2022-06-05T08:49:16Z) - Enhancing Adversarial Training with Feature Separability [52.39305978984573]
本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。
包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
論文 参考訳（メタデータ） (2022-05-02T04:04:23Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳（メタデータ） (2021-06-21T21:42:08Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。