論文の概要: LOTOS: Layer-wise Orthogonalization for Training Robust Ensembles

• arxiv url: http://arxiv.org/abs/2410.05136v1
• Date: Mon, 7 Oct 2024 15:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 00:08:45.303457
• Title: LOTOS: Layer-wise Orthogonalization for Training Robust Ensembles
• Title（参考訳）: LOTOS:ロバストアンサンブルのレイヤーワイド直交化
• Authors: Ali Ebrahimpour-Boroojeny, Hari Sundaram, Varun Chandrasekaran,
• Abstract要約: リプシッツ連続性が伝達率に及ぼす影響について検討する。 アンサンブルのための新しい訓練パラダイムであるLOTOSを導入し、この悪影響に対処する。
• 参考スコア（独自算出の注目度）: 13.776549741449557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferability of adversarial examples is a well-known property that endangers all classification models, even those that are only accessible through black-box queries. Prior work has shown that an ensemble of models is more resilient to transferability: the probability that an adversarial example is effective against most models of the ensemble is low. Thus, most ongoing research focuses on improving ensemble diversity. Another line of prior work has shown that Lipschitz continuity of the models can make models more robust since it limits how a model's output changes with small input perturbations. In this paper, we study the effect of Lipschitz continuity on transferability rates. We show that although a lower Lipschitz constant increases the robustness of a single model, it is not as beneficial in training robust ensembles as it increases the transferability rate of adversarial examples across models in the ensemble. Therefore, we introduce LOTOS, a new training paradigm for ensembles, which counteracts this adverse effect. It does so by promoting orthogonality among the top-$k$ sub-spaces of the transformations of the corresponding affine layers of any pair of models in the ensemble. We theoretically show that $k$ does not need to be large for convolutional layers, which makes the computational overhead negligible. Through various experiments, we show LOTOS increases the robust accuracy of ensembles of ResNet-18 models by $6$ percentage points (p.p) against black-box attacks on CIFAR-10. It is also capable of combining with the robustness of prior state-of-the-art methods for training robust ensembles to enhance their robust accuracy by $10.7$ p.p.
• Abstract（参考訳）: 逆例の転送性は、ブラックボックスクエリを通してのみアクセス可能なものであっても、すべての分類モデルを危険にさらす、よく知られた特性である。 以前の研究は、モデルのアンサンブルが転送可能性に対してより弾力性があることを示しており、敵の例がアンサンブルのほとんどのモデルに対して有効である確率は低い。 したがって、ほとんどの研究はアンサンブルの多様性を改善することに焦点を当てている。 別の以前の研究で、モデルのリプシッツ連続性は、モデルの出力が小さな入力摂動でどのように変化するかを制限するため、モデルをより堅牢にすることができることが示されている。 本稿では,リプシッツ連続性が伝達率に及ぼす影響について検討する。 より低いリプシッツ定数は単一モデルのロバスト性を高めるが、アンサンブル内のモデル間の逆例の移動率を高めるほど、ロバストアンサンブルの訓練には有益ではないことを示す。 そこで本研究では,この悪影響に対処する新たなアンサンブル訓練パラダイムであるLOTOSを紹介する。 これは、アンサンブル内の任意の一対のモデルの対応するアフィン層の変換の上位$k$部分空間の直交性を促進することによって行われる。 理論的には、$k$ は畳み込み層に対して大きすぎる必要はなく、計算オーバーヘッドを無視できることを示す。 様々な実験を通して、LOTOSはCIFAR-10に対するブラックボックス攻撃に対して、ResNet-18モデルのアンサンブルの堅牢な精度を6ドルパーセンテージポイント(p.p)で向上させることを示した。 また、ロバストアンサンブルを訓練するための従来の最先端の手法の頑丈さと組み合わせて、ロバスト精度を10.7ドルのp.pで向上させることができる。

関連論文リスト

• Ensemble Adversarial Defense via Integration of Multiple Dispersed Low Curvature Models [7.8245455684263545]
  本研究では,攻撃伝達性を低減し,アンサンブルの多様性を高めることを目的とする。 損失曲率を表す2階勾配を, 対向的強靭性の重要な要因として同定する。 本稿では,複数変数の低曲率ネットワークモデルをトレーニングするための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2024-03-25T03:44:36Z)
• CAMERO: Consistency Regularized Ensemble of Perturbed Language Models with Weight Sharing [83.63107444454938]
  本稿では,CAMEROと呼ばれる摂動モデルに基づく一貫性規則化アンサンブル学習手法を提案する。 具体的には、すべてのモデルで底層重みを共有し、異なるモデルの隠れ表現に異なる摂動を適用し、モデルの多様性を効果的に促進することができる。 大規模言語モデルを用いた実験により,CAMEROはアンサンブルモデルの一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-04-13T19:54:51Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
  本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
  論文  参考訳（メタデータ） (2021-11-25T05:51:03Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• TRS: Transferability Reduced Ensemble via Encouraging Gradient Diversity and Model Smoothness [14.342349428248887]
  逆転性(Adversarial Transferability)は、逆転性(adversarial)の例の興味深い特性である。 本稿では,モデル間の移動性に関する十分な条件を理論的に解析する。 本稿では,そのロバスト性を改善するために,アンサンブル内の転送性を低減するための実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-01T17:58:35Z)
• "What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models [71.91835408379602]
  敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。 我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-09T20:07:13Z)
• Adversarial Learning with Cost-Sensitive Classes [7.6596177815175475]
  いくつかの特殊クラスのパフォーマンスを向上させるか、特に敵の学習における攻撃からそれらを保護する必要がある。 本論文では,コストに敏感な分類と対比学習を組み合わせて,保護クラスと非保護クラスを区別できるモデルを訓練するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-29T03:15:40Z)
• Voting based ensemble improves robustness of defensive models [82.70303474487105]
  我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。 最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
  論文  参考訳（メタデータ） (2020-11-28T00:08:45Z)
• DVERGE: Diversifying Vulnerabilities for Enhanced Robust Generation of Ensembles [20.46399318111058]
  敵攻撃は、小さな摂動でCNNモデルを誤解させる可能性があるため、同じデータセットでトレーニングされた異なるモデル間で効果的に転送することができる。 非破壊的特徴を蒸留することにより,各サブモデルの逆脆弱性を分離するDVERGEを提案する。 新たな多様性基準とトレーニング手順により、DVERGEは転送攻撃に対して高い堅牢性を達成することができる。
  論文  参考訳（メタデータ） (2020-09-30T14:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。