論文の概要: Can Implicit Bias Imply Adversarial Robustness?

• arxiv url: http://arxiv.org/abs/2405.15942v2
• Date: Wed, 5 Jun 2024 14:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 23:59:22.760792
• Title: Can Implicit Bias Imply Adversarial Robustness?
• Title（参考訳）: インプシットバイアスは逆行性ロバスト性を引き起こすか?
• Authors: Hancheng Min, René Vidal,
• Abstract要約: 勾配に基づくトレーニングアルゴリズムの暗黙のバイアスは、しばしばよく一般化されるトレーニングネットワークにつながるため、主に有益であると考えられている。 しかし、Frei et al. (2023) は、そのような暗黙の偏見が敵の堅牢性を傷つけることを示した。 この結果から,トレーニングネットワークの暗黙的バイアスとロバスト性において,データ構造とアーキテクチャの相互作用の重要性を強調した。
• 参考スコア（独自算出の注目度）: 36.467655284354606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The implicit bias of gradient-based training algorithms has been considered mostly beneficial as it leads to trained networks that often generalize well. However, Frei et al. (2023) show that such implicit bias can harm adversarial robustness. Specifically, they show that if the data consists of clusters with small inter-cluster correlation, a shallow (two-layer) ReLU network trained by gradient flow generalizes well, but it is not robust to adversarial attacks of small radius. Moreover, this phenomenon occurs despite the existence of a much more robust classifier that can be explicitly constructed from a shallow network. In this paper, we extend recent analyses of neuron alignment to show that a shallow network with a polynomial ReLU activation (pReLU) trained by gradient flow not only generalizes well but is also robust to adversarial attacks. Our results highlight the importance of the interplay between data structure and architecture design in the implicit bias and robustness of trained networks.
• Abstract（参考訳）: 勾配に基づくトレーニングアルゴリズムの暗黙のバイアスは、しばしばよく一般化されるトレーニングネットワークにつながるため、主に有益であると考えられている。 しかし、Frei et al (2023) はそのような暗黙の偏見が敵の頑健さを損なうことを示した。 具体的には、クラスタ間相関が小さいクラスタからなる場合、勾配流によって訓練された浅層(二層)のReLUネットワークはよく一般化するが、小さな半径の敵攻撃に対して堅牢ではないことを示す。 さらに、この現象は浅いネットワークから明示的に構築できるより堅牢な分類器が存在するにもかかわらず起こる。 本稿では,近年のニューロンアライメント解析を拡張し,勾配流によってトレーニングされた多項式ReLU活性化(pReLU)の浅いネットワークが一般化するだけでなく,敵の攻撃に対して堅牢であることを示す。 本結果は,学習ネットワークの暗黙的バイアスとロバスト性において,データ構造とアーキテクチャ設計の相互作用の重要性を強調した。

関連論文リスト

• Hierarchical Simplicity Bias of Neural Networks [0.0]
  非平衡ラベル結合と呼ばれる新しい手法を導入し、この単純さのバイアスを階層的なレベルにわたって探索し、拡張する。 提案手法は,トレーニングセット内のラベルとの相関に基づいて,複雑性を増大させる特徴を逐次考慮していることを示す。
  論文  参考訳（メタデータ） (2023-11-05T11:27:03Z)
• The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks [64.12052498909105]
  本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
  論文  参考訳（メタデータ） (2023-03-02T18:14:35Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• Gradient Methods Provably Converge to Non-Robust Networks [40.83290846983707]
  逆数ネットワークでは、2LU$ Reperturbible gradient network は明らかに非ローバストである。 我々は、よく知られたマージンに対する暗黙の偏見が、非ロバストネットワークに対する偏見を引き起こすことを示した。
  論文  参考訳（メタデータ） (2022-02-09T08:58:54Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。