論文の概要: Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2406.06792v2
- Date: Fri, 14 Jun 2024 03:59:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 18:03:47.147074
- Title: Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
- Title（参考訳）: 可逆的対向ロバスト性のための強化圧縮型ニューラルアーキテクチャ探索
- Authors: Dingrong Wang, Hitesh Sapkota, Zhiqiang Tao, Qi Yu,
- Abstract要約: 本稿では, 対数対数対数ロバスト性に対する強化圧縮型ニューラルネットワーク探索(RC-NAS)を提案する。
具体的には、データセット、敵攻撃、教師ネットワーク情報を構成するタスク設定を定義する。
実験により、我々のフレームワークは、異なる初期教師ネットワーク、データセット、および敵攻撃に対して適応的な圧縮を実現することができることが示された。
- 参考スコア（独自算出の注目度）: 32.914986455418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prior neural architecture search (NAS) for adversarial robustness works have discovered that a lightweight and adversarially robust neural network architecture could exist in a non-robust large teacher network, generally disclosed by heuristic rules through statistical analysis and neural architecture search, generally disclosed by heuristic rules from neural architecture search. However, heuristic methods cannot uniformly handle different adversarial attacks and "teacher" network capacity. To solve this challenge, we propose a Reinforced Compressive Neural Architecture Search (RC-NAS) for Versatile Adversarial Robustness. Specifically, we define task settings that compose datasets, adversarial attacks, and teacher network information. Given diverse tasks, we conduct a novel dual-level training paradigm that consists of a meta-training and a fine-tuning phase to effectively expose the RL agent to diverse attack scenarios (in meta-training), and making it adapt quickly to locate a sub-network (in fine-tuning) for any previously unseen scenarios. Experiments show that our framework could achieve adaptive compression towards different initial teacher networks, datasets, and adversarial attacks, resulting in more lightweight and adversarially robust architectures.
- Abstract（参考訳）: 敵対的堅牢性研究のための以前のニューラルアーキテクチャサーチ(NAS)は、軽量で逆向きに堅牢なニューラルネットワークアーキテクチャが非ロバストな大規模教師ネットワークに存在し、一般に統計分析とニューラルアーキテクチャサーチを通じてヒューリスティックなルールによって開示され、一般的にはニューラルアーキテクチャサーチからのヒューリスティックなルールによって開示されていることを発見している。
しかし、ヒューリスティック手法は、異なる敵攻撃や「教師」ネットワーク容量を均一に扱えない。
この課題を解決するために, 可逆的対数ロバストネスのための強化圧縮型ニューラルネットワーク探索(RC-NAS)を提案する。
具体的には、データセット、敵攻撃、教師ネットワーク情報を構成するタスク設定を定義する。
多様なタスクが与えられた場合、我々は、RLエージェントを多様な攻撃シナリオ(メタトレーニング)に効果的に露出させるために、メタトレーニングと微調整フェーズからなる新しいデュアルレベルトレーニングパラダイムを実行し、未確認シナリオのサブネットワーク(微調整)を見つけるために迅速に適応させる。
実験により、我々のフレームワークは、異なる初期教師ネットワーク、データセット、および敵攻撃に対して適応的な圧縮を達成できることが示され、その結果、より軽量で対向的に堅牢なアーキテクチャが得られる。
関連論文リスト
- Differentiable Search of Accurate and Robust Architectures [22.435774101990752]
敵の訓練は 単純さと有効性から 注目を集めています
ディープニューラルネットワーク(DNN)は敵の攻撃に対して脆弱である。
本稿では,敵の訓練後に正確で堅牢なニューラルネットワークを自動検索するDSARAを提案する。
論文 参考訳（メタデータ） (2022-12-28T08:36:36Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳（メタデータ） (2022-07-21T12:01:03Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳（メタデータ） (2021-10-26T17:00:16Z) - Exploring Architectural Ingredients of Adversarially Robust Deep Neural
Networks [98.21130211336964]
ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。
本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-10-07T23:13:33Z) - Neural Architecture Dilation for Adversarial Robustness [56.18555072877193]
畳み込みニューラルネットワークの欠点は、敵の攻撃に弱いことである。
本稿では, 良好な精度を有する背骨CNNの対角的堅牢性を向上させることを目的とする。
最小限の計算オーバーヘッドの下では、拡張アーキテクチャはバックボーンCNNの標準的な性能と親和性が期待できる。
論文 参考訳（メタデータ） (2021-08-16T03:58:00Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Improving Neural Network Robustness through Neighborhood Preserving
Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。
我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文 参考訳（メタデータ） (2021-01-28T01:26:35Z) - Multi-objective Search of Robust Neural Architectures against Multiple
Types of Adversarial Attacks [18.681859032630374]
深層学習モデルは、人間には受け入れられない敵の例に弱い。
機械学習モデルがどのタイプの攻撃に苦しむかを事前に予測することは事実上不可能である。
本稿では,多目的進化アルゴリズムを用いた5種類の既知の敵攻撃に対して頑健な深層ニューラルネットワークの探索を提案する。
論文 参考訳（メタデータ） (2021-01-16T19:38:16Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - On Adversarial Robustness: A Neural Architecture Search perspective [20.478741635006113]
この研究は、アーキテクチャの観点から純粋に敵対的ロバスト性を理解するための最初の大規模研究である。
単純なアンサンブルによるDARTSの探索空間におけるランダムサンプリングにより,PGD攻撃に対するロバスト性を約12%向上できることを示す。
我々は, SoTA の精度向上に人気があるNASが, 対人訓練を一切行わないフリーアドオンとして, 対人精度を提供できることを示した。
論文 参考訳（メタデータ） (2020-07-16T16:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。