論文の概要: Measuring Equality in Machine Learning Security Defenses: A Case Study
in Speech Recognition
- arxiv url: http://arxiv.org/abs/2302.08973v6
- Date: Wed, 23 Aug 2023 01:05:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 18:27:41.068222
- Title: Measuring Equality in Machine Learning Security Defenses: A Case Study
in Speech Recognition
- Title(参考訳): 機械学習のセキュリティ防衛における品質測定 : 音声認識を事例として
- Authors: Luke E. Richards, Edward Raff, Cynthia Matuszek
- Abstract要約: この研究は、学習したシステムを守るためのアプローチと、異なるサブ人口間でのセキュリティ防衛がパフォーマンス上の不平等をもたらす方法を検討する。
提案された多くの手法は、虚偽の拒絶やロバストネストレーニングの不平等といった直接的な害を引き起こす可能性がある。
本稿では, ランダム化スムースメントとニューラルリジェクションの2つの防御法の比較を行い, マイノリティ集団のサンプリング機構により, ランダム化スムースメントがより公平であることを見出した。
- 参考スコア(独自算出の注目度): 56.69875958980474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Over the past decade, the machine learning security community has developed a
myriad of defenses for evasion attacks. An understudied question in that
community is: for whom do these defenses defend? This work considers common
approaches to defending learned systems and how security defenses result in
performance inequities across different sub-populations. We outline appropriate
parity metrics for analysis and begin to answer this question through empirical
results of the fairness implications of machine learning security methods. We
find that many methods that have been proposed can cause direct harm, like
false rejection and unequal benefits from robustness training. The framework we
propose for measuring defense equality can be applied to robustly trained
models, preprocessing-based defenses, and rejection methods. We identify a set
of datasets with a user-centered application and a reasonable computational
cost suitable for case studies in measuring the equality of defenses. In our
case study of speech command recognition, we show how such adversarial training
and augmentation have non-equal but complex protections for social subgroups
across gender, accent, and age in relation to user coverage. We present a
comparison of equality between two rejection-based defenses: randomized
smoothing and neural rejection, finding randomized smoothing more equitable due
to the sampling mechanism for minority groups. This represents the first work
examining the disparity in the adversarial robustness in the speech domain and
the fairness evaluation of rejection-based defenses.
- Abstract(参考訳): 過去10年間で、機械学習のセキュリティコミュニティは、回避攻撃のための無数の防御方法を開発した。
このコミュニティの未熟な疑問は: この防御策は誰を擁護するのか?
この研究は、学習したシステムを守るための一般的なアプローチと、異なるサブ人口間でのセキュリティ防衛がパフォーマンス不平等をもたらす方法を考える。
分析に適切なパリティ指標を概説し,機械学習セキュリティ手法の公平性に関する実証的な結果から,この質問に答える。
提案手法の多くは,不正拒絶やロバストネストレーニングによる不平等なメリットなど,直接的な害を引き起こす可能性がある。
本稿では,防衛平等度を測定するための枠組みを,頑健に訓練されたモデル,前処理に基づく防御,拒絶手法に適用する。
ユーザ中心のアプリケーションと、防御の平等度を測定するためのケーススタディに適した合理的な計算コストを用いて、データセットの集合を同定する。
音声コマンド認識のケーススタディでは, 性別, アクセント, 年齢などの社会的サブグループに対して, 対人訓練や強化が不等であるが, 複雑に保護されていることを示す。
本稿では, ランダム化スムースメントとニューラルリジェクションの2つの防御法の比較を行い, マイノリティ集団のサンプリング機構により, ランダム化スムースメントがより公平であることを見出した。
本研究は,音声領域における対向ロバスト性の相違と,拒絶に基づく防御の公平性を評価する最初の研究である。
関連論文リスト
- Among Us: Adversarially Robust Collaborative Perception by Consensus [50.73128191202585]
複数のロボットは、シーン(例えば物体)を個人よりも協調的に知覚することができる。
本稿では,未知の攻撃者に対して一般化可能な新しいサンプリングベース防衛戦略であるROBOSACを提案する。
自律運転シナリオにおける協調3次元物体検出の課題に対して,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-03-16T17:15:25Z) - Adversarial Purification with the Manifold Hypothesis [14.085013765853226]
この枠組みを用いた逆浄化法を開発した。
我々のアプローチは、攻撃者が防衛の存在を認識しているとしても、敵の堅牢性を提供することができる。
論文 参考訳(メタデータ) (2022-10-26T01:00:57Z) - Towards Fair Classification against Poisoning Attacks [52.57443558122475]
攻撃者が少数のサンプルを訓練データに挿入できる毒殺シナリオについて検討する。
本稿では,従来の防犯手法に適合する汎用的かつ理論的に保証された枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-18T00:49:58Z) - Resisting Adversarial Attacks in Deep Neural Networks using Diverse
Decision Boundaries [12.312877365123267]
深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。
我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。
我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
論文 参考訳(メタデータ) (2022-08-18T08:19:26Z) - Searching for an Effective Defender: Benchmarking Defense against
Adversarial Word Substitution [83.84968082791444]
ディープニューラルネットワークは、意図的に構築された敵の例に対して脆弱である。
ニューラルNLPモデルに対する敵対的単語置換攻撃を防御する様々な方法が提案されている。
論文 参考訳(メタデータ) (2021-08-29T08:11:36Z) - Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。
本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。
実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
論文 参考訳(メタデータ) (2021-06-01T07:10:54Z) - Adversarial robustness via stochastic regularization of neural
activation sensitivity [24.02105949163359]
両防衛目標を同時に扱う新しい防衛機構を提案する。
損失面の勾配を平坦化し、逆例を見つけるのが難しくなる。
さらに、ジャコビアン正則化を利用して、正しく分類された入力から決定を遠ざける。
論文 参考訳(メタデータ) (2020-09-23T19:31:55Z) - Defensive Few-shot Learning [77.82113573388133]
本稿では,防御的数発学習という新たな課題について検討する。
敵の攻撃に対して頑丈な数発のモデルを学習することを目的としている。
提案したフレームワークは、既存の数発のモデルを敵攻撃に対して効果的に堅牢にすることができる。
論文 参考訳(メタデータ) (2019-11-16T05:57:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。