論文の概要: Clustering Effect of (Linearized) Adversarial Robust Models

• arxiv url: http://arxiv.org/abs/2111.12922v1
• Date: Thu, 25 Nov 2021 05:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 17:20:53.258541
• Title: Clustering Effect of (Linearized) Adversarial Robust Models
• Title（参考訳）: 線形化)逆ロバストモデルのクラスタリング効果
• Authors: Yang Bai, Xin Yan, Yong Jiang, Shu-Tao Xia, Yisen Wang
• Abstract要約: 本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。 提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
• 参考スコア（独自算出の注目度）: 60.25668525218051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial robustness has received increasing attention along with the study of adversarial examples. So far, existing works show that robust models not only obtain robustness against various adversarial attacks but also boost the performance in some downstream tasks. However, the underlying mechanism of adversarial robustness is still not clear. In this paper, we interpret adversarial robustness from the perspective of linear components, and find that there exist some statistical properties for comprehensively robust models. Specifically, robust models show obvious hierarchical clustering effect on their linearized sub-networks, when removing or replacing all non-linear components (e.g., batch normalization, maximum pooling, or activation layers). Based on these observations, we propose a novel understanding of adversarial robustness and apply it on more tasks including domain adaption and robustness boosting. Experimental evaluations demonstrate the rationality and superiority of our proposed clustering strategy.
• Abstract（参考訳）: 敵意の強固さは、敵意の例の研究とともに注目を集めている。 これまでの研究は、ロバストモデルが様々な敵攻撃に対して堅牢性を得るだけでなく、下流タスクのパフォーマンスも向上していることを示している。 しかし、敵対的堅牢性の基盤メカニズムはまだ明らかではない。 本稿では,線形成分の観点から対向的ロバスト性を解釈し,包括的ロバストモデルにいくつかの統計的性質が存在することを示す。 特にロバストモデルは、すべての非線形コンポーネント(バッチ正規化、最大プール、アクティベーション層など)を削除または置き換える際に、線形化サブネットワークに明らかな階層的クラスタリング効果を示す。 これらの観測に基づいて、敵の強靭性に対する新たな理解を提案し、ドメイン適応や強靭性向上といったタスクに応用する。 提案するクラスタリング戦略の合理性と優位性を実験的に評価した。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Sparse and Transferable Universal Singular Vectors Attack [5.498495800909073]
  そこで本研究では, よりスムーズなホワイトボックス対逆攻撃を提案する。 我々のアプローチは、ジャコビアン行列の隠れた層の$(p,q)$-singularベクトルにスパーシティを提供するトラルキャットパワーに基づいている。 本研究は,攻撃をスパースする最先端モデルの脆弱性を実証し,堅牢な機械学習システムの開発の重要性を強調した。
  論文  参考訳（メタデータ） (2024-01-25T09:21:29Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Feature Separation and Recalibration for Adversarial Robustness [18.975320671203132]
  本稿では,特徴分離と再校正という手法を提案する。 分離と再校正を通じて、より堅牢な機能マップのために、悪意のある非不正なアクティベーションを再校正する。 これにより、計算オーバーヘッドが小さいため、既存の敵の訓練手法の堅牢性は最大8.57%向上する。
  論文  参考訳（メタデータ） (2023-03-24T07:43:57Z)
• Fairness Increases Adversarial Vulnerability [50.90773979394264]
  フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。 非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。 フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-21T19:55:35Z)
• Unifying Model Explainability and Robustness for Joint Text Classification and Rationale Extraction [11.878012909876713]
  そこで我々は,AT-BMCという共同分類と合理的抽出モデルを提案する。 混合逆行訓練(AT)は、モデルの堅牢性を改善するために離散的および埋め込み空間における様々な摂動を利用するように設計されており、境界マッチング制約(BMC)は境界情報のガイダンスによりより正確に有理性を見つけるのに役立つ。 ベンチマークデータセットのパフォーマンスは、提案されたAT-BMCが、大きなマージンによる分類と合理性抽出の両方のベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2021-12-20T09:48:32Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)
• TREND: Transferability based Robust ENsemble Design [6.663641564969944]
  本稿では, ネットワークアーキテクチャ, 入力, 重量, アクティベーションの量子化が, 対向サンプルの転送性に及ぼす影響について検討する。 本研究では,ソースとターゲット間の入力量子化によってトランスファービリティが著しく阻害されていることを示す。 我々は、これに対抗するために、新しい最先端のアンサンブル攻撃を提案する。
  論文  参考訳（メタデータ） (2020-08-04T13:38:14Z)
• Robustness from Simple Classifiers [31.50446148110293]
  頑丈さと単純さの関連について検討する。 出力クラス数を減らした単純な分類器は、対角的摂動の影響を受けにくいことが判明した。
  論文  参考訳（メタデータ） (2020-02-21T17:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。