論文の概要: Rethinking Clustering for Robustness

• arxiv url: http://arxiv.org/abs/2006.07682v3
• Date: Fri, 19 Nov 2021 18:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:41:13.085913
• Title: Rethinking Clustering for Robustness
• Title（参考訳）: ロバスト性のためのクラスタリング再考
• Authors: Motasem Alfarra, Juan C. P\'erez, Adel Bibi, Ali Thabet, Pablo Arbel\'aez, Bernard Ghanem
• Abstract要約: ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
• 参考スコア（独自算出の注目度）: 56.14672993686335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies how encouraging semantically-aligned features during deep neural network training can increase network robustness. Recent works observed that Adversarial Training leads to robust models, whose learnt features appear to correlate with human perception. Inspired by this connection from robustness to semantics, we study the complementary connection: from semantics to robustness. To do so, we provide a robustness certificate for distance-based classification models (clustering-based classifiers). Moreover, we show that this certificate is tight, and we leverage it to propose ClusTR (Clustering Training for Robustness), a clustering-based and adversary-free training framework to learn robust models. Interestingly, \textit{ClusTR} outperforms adversarially-trained networks by up to $4\%$ under strong PGD attacks.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの深層学習における意味的に整合した特徴の促進が,ネットワークロバスト性を高める効果について検討する。 近年の研究では、敵の訓練が頑健なモデルにつながり、その学習的特徴は人間の知覚と相関していることが観察されている。 この接続をロバスト性からセマンティクスにインスパイアされ、セマンティクスからロバスト性へ、補完的な接続を研究する。 そのため、距離に基づく分類モデル(クラスタリングに基づく分類器)の堅牢性証明を提供する。 さらに,この証明が厳密であることを示し,それを活用して,堅牢なモデルを学ぶためのクラスタリングベースで敵対的でないトレーニングフレームワークであるclustr(clustering training for robustness)を提案する。 興味深いことに、 \textit{clustr} は強力なpgd攻撃下で、敵が訓練したネットワークを最大$4\%$で上回っている。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Unlearning Backdoor Threats: Enhancing Backdoor Defense in Multimodal Contrastive Learning via Local Token Unlearning [49.242828934501986]
  マルチモーダルコントラスト学習は高品質な機能を構築するための強力なパラダイムとして登場した。 バックドア攻撃は 訓練中に モデルに 悪意ある行動を埋め込む 我々は,革新的なトークンベースの局所的忘れ忘れ学習システムを導入する。
  論文  参考訳（メタデータ） (2024-03-24T18:33:15Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness [2.064612766965483]
  本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。 実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
  論文  参考訳（メタデータ） (2023-07-07T19:16:59Z)
• Understanding Robust Learning through the Lens of Representation Similarities [37.66877172364004]
  ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した 本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
  論文  参考訳（メタデータ） (2022-06-20T16:06:20Z)
• Improving Corruption and Adversarial Robustness by Enhancing Weak Subnets [91.9346332103637]
  本研究では,頑健性を向上させるために,トレーニング中の弱さを明確に識別し,強化する新しいロバストトレーニング手法を提案する。 具体的には、特に弱いものを見つけるための探索アルゴリズムを開発し、全ネットワークからの知識蒸留を通じてそれらを明示的に強化することを提案する。 EWSは、破損した画像に対するロバスト性を大幅に改善し、クリーンなデータの正確性も向上することを示す。
  論文  参考訳（メタデータ） (2022-01-30T09:36:19Z)
• An Orthogonal Classifier for Improving the Adversarial Robustness of Neural Networks [21.13588742648554]
  近年の研究では、分類層に特定の変更を加えることで、ニューラルネットワークの堅牢性を向上させることが示されている。 我々は、成分が同じ大きさの高密度直交重み行列を明示的に構築し、新しいロバストな分類器を生み出す。 我々の方法は、多くの最先端の防衛アプローチに対して効率的で競争力がある。
  論文  参考訳（メタデータ） (2021-05-19T13:12:14Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。