論文の概要: Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training

• arxiv url: http://arxiv.org/abs/2401.14948v1
• Date: Fri, 26 Jan 2024 15:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 14:38:33.669832
• Title: Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training
• Title（参考訳）: 対人訓練における包括的一般化とロバスト性トレードオフの保存・更新
• Authors: Shruthi Gowda, Bahram Zonooz, Elahe Arani
• Abstract要約: 敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を改善する。 特定のレイヤを選択的に更新し、他のレイヤを保存することで、ネットワークの学習能力を大幅に向上させることができることを示す。 重みの選択的保存, 更新, 修正を行うために, 勾配プロミネンス基準を利用した新しいトレーニングフレームワークCUREを提案する。
• 参考スコア（独自算出の注目度）: 21.163070161951868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training improves the robustness of neural networks against adversarial attacks, albeit at the expense of the trade-off between standard and robust generalization. To unveil the underlying factors driving this phenomenon, we examine the layer-wise learning capabilities of neural networks during the transition from a standard to an adversarial setting. Our empirical findings demonstrate that selectively updating specific layers while preserving others can substantially enhance the network's learning capacity. We therefore propose CURE, a novel training framework that leverages a gradient prominence criterion to perform selective conservation, updating, and revision of weights. Importantly, CURE is designed to be dataset- and architecture-agnostic, ensuring its applicability across various scenarios. It effectively tackles both memorization and overfitting issues, thus enhancing the trade-off between robustness and generalization and additionally, this training approach also aids in mitigating "robust overfitting". Furthermore, our study provides valuable insights into the mechanisms of selective adversarial training and offers a promising avenue for future research.
• Abstract（参考訳）: 敵の訓練は、標準と堅牢な一般化の間のトレードオフを犠牲にして、敵の攻撃に対するニューラルネットワークの堅牢性を改善する。 この現象を誘発する要因を明らかにするため、ニューラルネットワークの標準から対向的な環境への移行における階層的学習能力について検討する。 実験の結果,ネットワークの学習能力は,他のレイヤを保存しながら,特定のレイヤを選択的に更新することで大幅に向上することが示された。 そこで我々は,重みの選択的保存,更新,修正を行うために,勾配優位基準を利用した新しいトレーニングフレームワークCUREを提案する。 重要なのは、CUREはデータセットとアーキテクチャに依存しないように設計されており、さまざまなシナリオに適用可能であることだ。 記憶と過剰フィッティングの問題の両方に効果的に対応し、堅牢性と一般化の間のトレードオフを強化し、さらにこのトレーニングアプローチは"ロバストオーバーフィッティング(robust overfitting)"の緩和にも役立つ。 さらに,本研究は,選択的敵意訓練のメカニズムに関する貴重な知見を提供し,今後の研究に有望な道筋を提供する。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Beyond Dropout: Robust Convolutional Neural Networks Based on Local Feature Masking [6.189613073024831]
  本研究では、畳み込みニューラルネットワーク(CNN)の性能向上を目的とした、革新的なローカル特徴マスキング(LFM)戦略を紹介する。 トレーニング期間中、我々はCNNの浅い層にランダムな特徴マスキングを戦略的に組み込む。 LFMは、ある意味的特徴の欠如を補うために残りの特徴を活用することで、ネットワークを補完する。
  論文  参考訳（メタデータ） (2024-07-18T16:25:16Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts [10.27974860479791]
  本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。 提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T20:09:47Z)
• Adversarial Attacks and Defenses in Machine Learning-Powered Networks: A Contemporary Survey [114.17568992164303]
  機械学習とディープニューラルネットワークにおけるアドリアックと防御が注目されている。 本調査は、敵攻撃・防衛技術分野における最近の進歩を包括的に概観する。 検索ベース、意思決定ベース、ドロップベース、物理世界攻撃など、新たな攻撃方法も検討されている。
  論文  参考訳（メタデータ） (2023-03-11T04:19:31Z)
• Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
  ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。 臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
  論文  参考訳（メタデータ） (2022-10-06T23:50:38Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Robustness through Cognitive Dissociation Mitigation in Contrastive Adversarial Training [2.538209532048867]
  本稿では,新たなニューラルネットワークトレーニングフレームワークを提案する。 本稿では,データ拡張と対向的摂動の両面に一貫性のある特徴表現を学習することで,敵攻撃に対するモデルロバスト性を改善することを提案する。 我々は,CIFAR-10データセットを用いて,教師付きおよび自己教師付き対向学習法よりも頑健な精度とクリーンな精度を両立させる手法を検証する。
  論文  参考訳（メタデータ） (2022-03-16T21:41:27Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。