論文の概要: Understanding Robust Learning through the Lens of Representation Similarities

• arxiv url: http://arxiv.org/abs/2206.09868v1
• Date: Mon, 20 Jun 2022 16:06:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 15:36:26.885291
• Title: Understanding Robust Learning through the Lens of Representation Similarities
• Title（参考訳）: 表現類似性レンズによるロバスト学習の理解
• Authors: Christian Cianfarani, Arjun Nitin Bhagoji, Vikash Sehwag, Ben Zhao, Prateek Mittal
• Abstract要約: ディープニューラルネットワーク(DNN)の望ましい性質として、敵の例に対するロバストさが出現した 本稿では,頑健な学習によって学習される表現の性質が,標準的非破壊的学習から得られた表現とどのように異なるかを理解することを目的とする。
• 参考スコア（独自算出の注目度）: 37.66877172364004
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Representation learning, i.e. the generation of representations useful for downstream applications, is a task of fundamental importance that underlies much of the success of deep neural networks (DNNs). Recently, robustness to adversarial examples has emerged as a desirable property for DNNs, spurring the development of robust training methods that account for adversarial examples. In this paper, we aim to understand how the properties of representations learned by robust training differ from those obtained from standard, non-robust training. This is critical to diagnosing numerous salient pitfalls in robust networks, such as, degradation of performance on benign inputs, poor generalization of robustness, and increase in over-fitting. We utilize a powerful set of tools known as representation similarity metrics, across three vision datasets, to obtain layer-wise comparisons between robust and non-robust DNNs with different architectures, training procedures and adversarial constraints. Our experiments highlight hitherto unseen properties of robust representations that we posit underlie the behavioral differences of robust networks. We discover a lack of specialization in robust networks' representations along with a disappearance of `block structure'. We also find overfitting during robust training largely impacts deeper layers. These, along with other findings, suggest ways forward for the design and training of better robust networks.
• Abstract（参考訳）: 表現学習(representation learning)、すなわち下流のアプリケーションに有用な表現の生成は、ディープニューラルネットワーク(DNN)の成功の基盤となる基本的な重要性のタスクである。 近年,adversarial exampleに対するロバスト性がdnnの望ましい特性として現れ,敵の事例を考慮したロバストなトレーニング手法の開発が進められている。 本稿では,頑健な学習によって学習される表現の性質が,標準的な非破壊訓練とどのように異なるかを理解することを目的とする。 これは、良性入力の性能低下、ロバスト性の低一般化、過剰適合の増加など、ロバストネットワークにおける多数の健全な落とし穴の診断に重要である。 我々は、3つの視覚データセットにまたがる表現類似度メトリクスとして知られる強力なツールセットを利用して、異なるアーキテクチャ、トレーニング手順、および敵の制約を持つロバストDNNと非ロバストDNNのレイヤーワイズ比較を得る。 実験では,ロバストネットワークの挙動的差異を裏付けるロバスト表現の非認識特性に注目した。 我々は,ロバストネットワーク表現における特殊化の欠如と, 'ブロック構造' の消失を見出した。 また、堅牢なトレーニング中の過度な適合は、深いレイヤに大きく影響します。 これらは他の発見とともに、より堅牢なネットワークの設計とトレーニングの道筋を示唆している。

関連論文リスト

• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• A Theoretical Perspective on Subnetwork Contributions to Adversarial Robustness [2.064612766965483]
  本稿では,サブネットワークの対角的ロバスト性がネットワーク全体のロバスト性にどのように寄与するかを検討する。 実験では、ロバストなサブネットワークがフルネットワークのロバスト性を促進する能力を示し、このフルネットワークのロバスト性を実現するために必要なレイヤワイドな依存関係を調査する。
  論文  参考訳（メタデータ） (2023-07-07T19:16:59Z)
• A Comprehensive Study on Robustness of Image Classification Models: Benchmarking and Rethinking [54.89987482509155]
  ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。 画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。 それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-02-28T04:26:20Z)
• Rethinking Robust Contrastive Learning from the Adversarial Perspective [2.3333090554192615]
  標準学習ネットワークでは,敵とクリーンな表現の相違が顕著である。 敵の訓練は、これらの格差を緩和し、普遍的な集合に対する表現の収束を促進する。
  論文  参考訳（メタデータ） (2023-02-05T22:43:50Z)
• Exploring Architectural Ingredients of Adversarially Robust Deep Neural Networks [98.21130211336964]
  ディープニューラルネットワーク(DNN)は敵の攻撃に弱いことが知られている。 本稿では,ネットワーク幅と深さがDNNの強靭性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-10-07T23:13:33Z)
• Rethinking Clustering for Robustness [56.14672993686335]
  ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
  論文  参考訳（メタデータ） (2020-06-13T16:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。