論文の概要: Explaining Adversarial Vulnerability with a Data Sparsity Hypothesis

• arxiv url: http://arxiv.org/abs/2103.00778v1
• Date: Mon, 1 Mar 2021 06:04:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 01:22:46.121919
• Title: Explaining Adversarial Vulnerability with a Data Sparsity Hypothesis
• Title（参考訳）: データスパーシネス仮説による敵対的脆弱性の解明
• Authors: Mahsa Paknezhad, Cuong Phuc Ngo, Amadeus Aristo Winarto, Alistair Cheong, Beh Chuen Yang, Wu Jiayang, Lee Hwee Kuan
• Abstract要約: 深層学習モデルは 敵対的な攻撃を受けやすい 本稿では,そのような決定境界を学習するためのDLモデルのトレーニングフレームワークを開発する。 我々は,このトレーニングフレームワークを用いて訓練したモデルの,よく知られた敵攻撃に対する敵の堅牢性を測定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite many proposed algorithms to provide robustness to deep learning (DL) models, DL models remain susceptible to adversarial attacks. We hypothesize that the adversarial vulnerability of DL models stems from two factors. The first factor is data sparsity which is that in the high dimensional data space, there are large regions outside the support of the data distribution. The second factor is the existence of many redundant parameters in the DL models. Owing to these factors, different models are able to come up with different decision boundaries with comparably high prediction accuracy. The appearance of the decision boundaries in the space outside the support of the data distribution does not affect the prediction accuracy of the model. However, they make an important difference in the adversarial robustness of the model. We propose that the ideal decision boundary should be as far as possible from the support of the data distribution.\par In this paper, we develop a training framework for DL models to learn such decision boundaries spanning the space around the class distributions further from the data points themselves. Semi-supervised learning was deployed to achieve this objective by leveraging unlabeled data generated in the space outside the support of the data distribution. We measure adversarial robustness of the models trained using this training framework against well-known adversarial attacks We found that our results, other regularization methods and adversarial training also support our hypothesis of data sparcity. We show that the unlabeled data generated by noise using our framework is almost as effective as unlabeled data, sourced from existing data sets or generated by synthesis algorithms, on adversarial robustness. Our code is available at https://github.com/MahsaPaknezhad/AdversariallyRobustTraining.
• Abstract（参考訳）: ディープラーニング(DL)モデルに堅牢性を提供する多くの提案されたアルゴリズムにもかかわらず、DLモデルは敵対攻撃の影響を受けやすいままである。 DLモデルの敵対的脆弱性は2つの要因から生じると仮定する。 第一の要因はデータスパーシティであり、高次元のデータ空間では、データ分散のサポートの外側に大きな領域がある。 第2の要因は、DLモデルに多くの冗長パラメータが存在することである。 これらの要因により、異なるモデルは異なる決定境界を、比較可能な高い予測精度で導き出すことができる。 データ分散のサポートの外における空間における決定境界の出現は、モデルの予測精度に影響を与えない。 しかし、それらはモデルの対比堅牢性に重要な違いをもたらします。 本論文では,データ分布のサポートから,理想的な決定境界を可能な限り遠ざけることを提案する。本論文では,データ点自体からクラス分布周辺の空間をまたいで学習するための,DLモデルのためのトレーニングフレームワークを提案する。 この目的を達成するために半教師付き学習が展開され、データ分散のサポート外の空間で生成されたラベルのないデータを活用する。 よく知られた敵対攻撃に対して、このトレーニングフレームワークを使用して訓練されたモデルの敵対的堅牢度を測定した結果、他の正規化方法、敵対的トレーニングもデータスパーシティの仮説を支持していることを発見した。 提案手法では,提案手法を用いて雑音によって生成されたラベルなしデータは,既存のデータセットや合成アルゴリズムが生成したラベルなしデータと同程度に有効であることを示す。 私たちのコードはhttps://github.com/MahsaPaknezhad/AdversariallyRobustTrainingで利用可能です。

関連論文リスト

• Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss [0.4249842620609682]
  我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。 重み付きおよび多変量データ分散を扱うように拡張する。 ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
  論文  参考訳（メタデータ） (2024-10-29T10:27:50Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Overcoming Overconfidence for Active Learning [1.2776312584227847]
  本稿では,アクティブな学習シナリオで発生する過信の問題に対処する2つの新しい手法を提案する。 1つ目はCross-Mix-and-Mix(CMaM)と呼ばれる拡張戦略で、限られたトレーニング分布を拡張してモデルを校正することを目的としている。 2つ目は Ranked Margin Sampling (RankedMS) という選択戦略である。
  論文  参考訳（メタデータ） (2023-08-21T09:04:54Z)
• Topological Interpretability for Deep-Learning [0.30806551485143496]
  ディープラーニング(DL)モデルは、予測の確実性を定量化できない。 本研究は,臨床および非臨床のテキストに基づいて訓練された2つのDL分類モデルにおいて,特徴を推測する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:38:13Z)
• Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data [18.34490939288318]
  本稿では,高次元データやオフレーヤによって汚染される可能性のある大規模データを含む設定において,統計的推論を行うという課題に対処する。 空間性を促進することによって高次元モデルに対処する2段階の分散および頑健な統計的推論手法を提案する。
  論文  参考訳（メタデータ） (2022-08-17T11:17:47Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。