論文の概要: Evolving Architectures with Gradient Misalignment toward Low Adversarial
Transferability
- arxiv url: http://arxiv.org/abs/2109.05919v1
- Date: Mon, 13 Sep 2021 12:41:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-14 15:19:30.246632
- Title: Evolving Architectures with Gradient Misalignment toward Low Adversarial
Transferability
- Title（参考訳）: 低逆移動性への勾配不一致を伴う進化的アーキテクチャ
- Authors: Kevin Richard G. Operiano, Wanchalerm Pora, Hitoshi Iba, Hiroshi Kera
- Abstract要約: 本稿では,神経進化を利用してネットワークアーキテクチャを進化させるアーキテクチャ探索フレームワークを提案する。
実験の結果,提案手法は4つの標準ネットワークからの転送可能性を低減するアーキテクチャの発見に成功していることがわかった。
さらに、勾配のずれをトレーニングした進化的ネットワークは、勾配のずれをトレーニングした標準ネットワークと比較して、転送可能性を大幅に低下させる。
- 参考スコア（独自算出の注目度）: 4.415977307120616
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural network image classifiers are known to be susceptible not only to
adversarial examples created for them but even those created for others. This
phenomenon poses a potential security risk in various black-box systems relying
on image classifiers. The reason behind such transferability of adversarial
examples is not yet fully understood and many studies have proposed training
methods to obtain classifiers with low transferability. In this study, we
address this problem from a novel perspective through investigating the
contribution of the network architecture to transferability. Specifically, we
propose an architecture searching framework that employs neuroevolution to
evolve network architectures and the gradient misalignment loss to encourage
networks to converge into dissimilar functions after training. Our experiments
show that the proposed framework successfully discovers architectures that
reduce transferability from four standard networks including ResNet and VGG,
while maintaining a good accuracy on unperturbed images. In addition, the
evolved networks trained with gradient misalignment exhibit significantly lower
transferability compared to standard networks trained with gradient
misalignment, which indicates that the network architecture plays an important
role in reducing transferability. This study demonstrates that designing or
exploring proper network architectures is a promising approach to tackle the
transferability issue and train adversarially robust image classifiers.
- Abstract（参考訳）: ディープニューラルネットワーク画像分類器は、それらのために作成された敵の例だけでなく、他のために作成された例にも感受性があることが知られている。
この現象は、画像分類器に依存する様々なブラックボックスシステムにおいて潜在的なセキュリティリスクをもたらす。
このような相反する例の伝達可能性の背後にある理由は未だ完全には理解されておらず、多くの研究が、伝達可能性の低い分類器を得るための訓練方法を提案している。
本研究では,ネットワークアーキテクチャのトランスファービリティへの寄与を調べることによって,新しい視点からこの問題に対処する。
具体的には,神経進化を用いてネットワークアーキテクチャを進化させ,勾配的不一致を解消し,ネットワークをトレーニング後に異なる機能に収束させるアーキテクチャ探索フレームワークを提案する。
提案手法は,resnet や vgg など4つの標準ネットワークからの転送性を低減し,不安定な画像に対して高い精度を保ちながら,転送性を向上できることを示す。
さらに,勾配ミスアロゲーションでトレーニングされたネットワークは,勾配ミスアロゲーションでトレーニングされた標準ネットワークに比べて転送可能性が著しく低下し,ネットワークアーキテクチャが転送可能性の低下に重要な役割を果たしていることが示された。
本研究では、適切なネットワークアーキテクチャの設計や探索が、転送可能性問題に対処し、対向的に堅牢な画像分類器を訓練するための有望なアプローチであることを示す。
関連論文リスト
- Efficient Visualization of Neural Networks with Generative Models and Adversarial Perturbations [0.0]
本稿では,既存の手法を改良した生成ネットワークによるディープビジュアライゼーション手法を提案する。
我々のモデルは、使用するネットワーク数を減らし、ジェネレータと識別器のみを必要とすることにより、アーキテクチャを単純化する。
我々のモデルは、事前の訓練知識を少なくし、差別者がガイドとして機能する非敵的訓練プロセスを使用する。
論文 参考訳（メタデータ） (2024-09-20T14:59:25Z) - Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts [10.27974860479791]
本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。
提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
論文 参考訳（メタデータ） (2023-11-16T20:09:47Z) - Common Knowledge Learning for Generating Transferable Adversarial
Examples [60.1287733223249]
本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。
既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。
本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-01T09:07:12Z) - Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。
我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。
これらの機構の集約演算子に補正項を提示する。
論文 参考訳（メタデータ） (2023-06-02T15:19:08Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - Improving Neural Network Robustness through Neighborhood Preserving
Layers [0.751016548830037]
このような層を組み込むことができ、効率的にトレーニングできる新しいニューラルネットワークアーキテクチャを実証する。
我々は、設計したネットワークアーキテクチャが、最先端の勾配に基づく攻撃に対してより堅牢であることを実証的に示す。
論文 参考訳（メタデータ） (2021-01-28T01:26:35Z) - CrossTransformers: spatially-aware few-shot transfer [92.33252608837947]
非常に少ないデータを持つ新しいタスクを考えると、現代の視覚システムは驚くほど急速に低下する。
現代の視覚システムを支えるニューラルネットワーク表現が、どのようにして監督の崩壊にさらされているかを示す。
そこで我々は,伝達を良くする汎用的な機能を促進するために,自己指導型学習を提案する。
論文 参考訳（メタデータ） (2020-07-22T15:37:08Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳（メタデータ） (2020-07-22T08:30:16Z) - On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。
現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。
トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文 参考訳（メタデータ） (2020-07-16T18:39:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。