論文の概要: ROPUST: Improving Robustness through Fine-tuning with Photonic Processors and Synthetic Gradients

• arxiv url: http://arxiv.org/abs/2108.04217v1
• Date: Tue, 6 Jul 2021 12:03:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 06:23:11.555170
• Title: ROPUST: Improving Robustness through Fine-tuning with Photonic Processors and Synthetic Gradients
• Title（参考訳）: ROPUST:フォトニックプロセッサと合成勾配による微細調整によるロバスト性向上
• Authors: Alessandro Cappelli, Julien Launay, Laurent Meunier, Ruben Ohana and Iacopo Poli
• Abstract要約: ROPUSTは、頑健な事前学習モデルを活用し、その堅牢性を高めるためのシンプルで効率的な手法である。 我々は,ロバストベンチの4つの攻撃に対して,9つの異なるモデルを用いて実験を行った。 ROPUSTは,最先端の位相探索技術でも有効であることを示す。
• 参考スコア（独自算出の注目度）: 65.52888259961803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness to adversarial attacks is typically obtained through expensive adversarial training with Projected Gradient Descent. Here we introduce ROPUST, a remarkably simple and efficient method to leverage robust pre-trained models and further increase their robustness, at no cost in natural accuracy. Our technique relies on the use of an Optical Processing Unit (OPU), a photonic co-processor, and a fine-tuning step performed with Direct Feedback Alignment, a synthetic gradient training scheme. We test our method on nine different models against four attacks in RobustBench, consistently improving over state-of-the-art performance. We perform an ablation study on the single components of our defense, showing that robustness arises from parameter obfuscation and the alternative training method. We also introduce phase retrieval attacks, specifically designed to increase the threat level of attackers against our own defense. We show that even with state-of-the-art phase retrieval techniques, ROPUST remains an effective defense.
• Abstract（参考訳）: 敵の攻撃に対するロバスト性は、通常、プロジェクテッド・グラディエント・Descent を用いた高価な敵の訓練によって得られる。 ROPUSTは、頑健な事前学習モデルを活用し、その頑健さをさらに高め、自然精度を犠牲にすることなく、極めてシンプルで効率的な手法である。 本手法は光処理ユニット(OPU)、フォトニックコプロセッサ、および合成勾配学習スキームであるダイレクトフィードバックアライメント(Direct Feedback Alignment)を用いて行う微調整ステップに頼っている。 我々は,ロバストベンチの4つの攻撃に対して,9つの異なるモデルを用いて実験を行った。 防御の単一成分についてアブレーション研究を行い,パラメータの難読化と代替訓練法から頑健性が生ずることを示した。 また,我々の防御に対する攻撃者の脅威レベルを高めるために特別に設計されたフェーズ検索攻撃も導入する。 ROPUSTは,最先端の位相探索技術でも有効であることを示す。

関連論文リスト

• Adversarial Training on Purification (AToP): Advancing Both Robustness and Generalization [29.09894840783714]
  本稿では,AToP (Adversarial Training on Purification) という,ロバストな浄化器モデルを得るための新しいパイプラインを提案する。 そこで我々は,CIFAR-10,CIFAR-100,ImageNetteの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T17:56:42Z)
• How Robust Are Energy-Based Models Trained With Equilibrium Propagation? [4.374837991804085]
  敵の訓練は、敵の攻撃に対する現在の最先端の防御である。 クリーンな入力に対するモデルの精度を低くし、計算コストも高く、自然騒音に対する堅牢性も低い。 対照的に、エネルギーベースモデル(EBM)は各層から前の層へのフィードバック接続を組み込んでおり、繰り返し発生する深層構造をもたらす。
  論文  参考訳（メタデータ） (2024-01-21T16:55:40Z)
• Model-Agnostic Meta-Attack: Towards Reliable Evaluation of Adversarial Robustness [53.094682754683255]
  モデル非依存型メタアタック(MAMA)アプローチにより,より強力な攻撃アルゴリズムを自動検出する。 本手法は、繰り返しニューラルネットワークによってパラメータ化された逆攻撃を学習する。 本研究では,未知の防御を攻撃した場合の学習能力を向上させるために,モデルに依存しない訓練アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-10-13T13:54:24Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Self-Progressing Robust Training [146.8337017922058]
  敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。 我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。 その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
  論文  参考訳（メタデータ） (2020-12-22T00:45:24Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)
• Improving the affordability of robustness training for DNNs [11.971637253035107]
  逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。 提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-02-11T07:29:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。