論文の概要: The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks

• arxiv url: http://arxiv.org/abs/2303.01456v2
• Date: Tue, 31 Oct 2023 09:23:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 03:41:03.771145
• Title: The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
• Title（参考訳）: 入射バイアスの二重刃刀:ReLUネットワークにおける一般化対ロバストネス
• Authors: Spencer Frei and Gal Vardi and Peter L. Bartlett and Nathan Srebro
• Abstract要約: 本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
• 参考スコア（独自算出の注目度）: 64.12052498909105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study the implications of the implicit bias of gradient flow on generalization and adversarial robustness in ReLU networks. We focus on a setting where the data consists of clusters and the correlations between cluster means are small, and show that in two-layer ReLU networks gradient flow is biased towards solutions that generalize well, but are highly vulnerable to adversarial examples. Our results hold even in cases where the network has many more parameters than training examples. Despite the potential for harmful overfitting in such overparameterized settings, we prove that the implicit bias of gradient flow prevents it. However, the implicit bias also leads to non-robust solutions (susceptible to small adversarial $\ell_2$-perturbations), even though robust networks that fit the data exist.
• Abstract（参考訳）: 本研究では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角ロバスト性に与える影響について検討する。 我々は,クラスタを構成するデータとクラスタ平均間の相関が小さい設定に注目し,2層reluネットワークでは勾配フローが一般化する解に対して偏っているが,逆の例には非常に弱いことを示す。 ネットワークがトレーニング例よりも多くのパラメータを持つ場合にも結果が得られます。 このような過パラメータ設定において有害な過剰フィッティングの可能性にもかかわらず、勾配流の暗黙のバイアスがそれを防ぐことを証明している。 しかし、暗黙のバイアスは、データに適合するロバストなネットワークが存在するにもかかわらず、非ロバスト解(小さな敵である$\ell_2$-perturbation)につながる。

関連論文リスト

• Can Implicit Bias Imply Adversarial Robustness? [36.467655284354606]
  勾配に基づくトレーニングアルゴリズムの暗黙のバイアスは、しばしばよく一般化されるトレーニングネットワークにつながるため、主に有益であると考えられている。 しかし、Frei et al. (2023) は、そのような暗黙の偏見が敵の堅牢性を傷つけることを示した。 この結果から,トレーニングネットワークの暗黙的バイアスとロバスト性において,データ構造とアーキテクチャの相互作用の重要性を強調した。
  論文  参考訳（メタデータ） (2024-05-24T21:09:53Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Gradient Methods Provably Converge to Non-Robust Networks [40.83290846983707]
  逆数ネットワークでは、2LU$ Reperturbible gradient network は明らかに非ローバストである。 我々は、よく知られたマージンに対する暗黙の偏見が、非ロバストネットワークに対する偏見を引き起こすことを示した。
  論文  参考訳（メタデータ） (2022-02-09T08:58:54Z)
• Implicit Regularization Towards Rank Minimization in ReLU Networks [34.41953136999683]
  ニューラルネットワークにおける暗黙の正規化とランク最小化の関係について検討する。 我々は非線形ReLUネットワークに焦点をあて、いくつかの新しい正および負の結果を提供する。
  論文  参考訳（メタデータ） (2022-01-30T09:15:44Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Towards More Practical Adversarial Attacks on Graph Neural Networks [14.78539966828287]
  グラフニューラルネットワーク(GNN)に対するブラックボックス攻撃を,新規で現実的な制約の下で検討する。 我々は,GNNモデルの構造的帰納バイアスが,この種の攻撃に有効であることを示す。
  論文  参考訳（メタデータ） (2020-06-09T05:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。