論文の概要: Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective

• arxiv url: http://arxiv.org/abs/2109.13215v1
• Date: Mon, 27 Sep 2021 17:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:42:16.054077
• Title: Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective
• Title（参考訳）: 過パラメータ線形モデルにおける分類と逆例:信号処理の観点から
• Authors: Adhyyan Narang, Vidya Muthukumar, Anant Sahai
• Abstract要約: 最先端のディープラーニング分類器は、無限の逆境摂動に非常に敏感である。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 敵対的感受性にもかかわらず、これらの特徴による分類は、より一般的に研究されている「非依存的特徴」モデルよりも容易である。
• 参考スコア（独自算出の注目度）: 10.515544361834241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art deep learning classifiers are heavily overparameterized with respect to the amount of training examples and observed to generalize well on "clean" data, but be highly susceptible to infinitesmal adversarial perturbations. In this paper, we identify an overparameterized linear ensemble, that uses the "lifted" Fourier feature map, that demonstrates both of these behaviors. The input is one-dimensional, and the adversary is only allowed to perturb these inputs and not the non-linear features directly. We find that the learned model is susceptible to adversaries in an intermediate regime where classification generalizes but regression does not. Notably, the susceptibility arises despite the absence of model mis-specification or label noise, which are commonly cited reasons for adversarial-susceptibility. These results are extended theoretically to a random-Fourier-sum setup that exhibits double-descent behavior. In both feature-setups, the adversarial vulnerability arises because of a phenomenon we term spatial localization: the predictions of the learned model are markedly more sensitive in the vicinity of training points than elsewhere. This sensitivity is a consequence of feature lifting and is reminiscent of Gibb's and Runge's phenomena from signal processing and functional analysis. Despite the adversarial susceptibility, we find that classification with these features can be easier than the more commonly studied "independent feature" models.
• Abstract（参考訳）: 最先端のディープラーニング分類器は、トレーニングサンプルの量に関して非常に過度にパラメータ化され、"クリーン"データに基づいてよく一般化されるが、無限の逆境の摂動に非常に敏感である。 本稿では、これらの両方の挙動を示す「リフト」フーリエ特徴写像を用いて、過パラメータ化線形アンサンブルを同定する。 入力は1次元であり、敵は直交しない特徴ではなく、これらの入力を直接摂動することしか許されない。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 特に、モデルの誤特定やラベルノイズがないにもかかわらず、その感受性は生じる。 これらの結果は理論上、二重発振挙動を示すランダムフーリエサム構成に拡張される。 両方の特徴セットにおいて、逆境の脆弱性は、私たちが空間的局所化と呼ぶ現象によって生じる:学習されたモデルの予測は、他のものよりもトレーニングポイントの近傍で顕著に敏感である。 この感度は機能持ち上げの結果であり、信号処理と機能解析によるギブとランゲの現象を想起させる。 敵対的感受性にもかかわらず、これらの特徴による分類は、一般に研究されている「非依存的特徴」モデルよりも容易である。

関連論文リスト

• Wide Two-Layer Networks can Learn from Adversarial Perturbations [27.368408524000778]
  摂動学習の反直感的成功を理論的に説明する。 対角摂動は、ネットワークがそれらから一般化するのに十分なクラス固有の特徴を含むことを証明している。
  論文  参考訳（メタデータ） (2024-10-31T06:55:57Z)
• Accuracy on the wrong line: On the pitfalls of noisy data for out-of-distribution generalisation [70.36344590967519]
  ノイズの多いデータやニュアンスの特徴は,その正確さを損なうのに十分であることを示す。 ノイズの多いデータとノイズのある特徴を持つ合成データセットと実データセットの両方で、この現象を実証する。
  論文  参考訳（メタデータ） (2024-06-27T09:57:31Z)
• Robustness of Deep Neural Networks for Micro-Doppler Radar Classification [1.3654846342364308]
  同じデータでトレーニングされ、テストされた2つの深い畳み込みアーキテクチャが評価される。 モデルは敵の例に影響を受けやすい。 ドップラー時間よりもケイデンス速度図の表現は、自然に敵の例に対して免疫的であることが示されている。
  論文  参考訳（メタデータ） (2024-02-21T09:37:17Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• Harmless interpolation in regression and classification with structured features [21.064512161584872]
  過度にパラメータ化されたニューラルネットワークは、ノイズの多いトレーニングデータに完全に適合するが、テストデータではうまく一般化する。 再生カーネルヒルベルト空間における上界回帰と分類リスクの一般かつ柔軟な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-11-09T15:12:26Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial Perturbations [65.05561023880351]
  敵の例は誤分類を引き起こすために作られた悪意のある入力である。 本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。 感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
  論文  参考訳（メタデータ） (2020-02-11T18:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。