論文の概要: Robust Classification Under $\ell_0$ Attack for the Gaussian Mixture Model

• arxiv url: http://arxiv.org/abs/2104.02189v1
• Date: Mon, 5 Apr 2021 23:31:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:21:47.988968
• Title: Robust Classification Under $\ell_0$ Attack for the Gaussian Mixture Model
• Title（参考訳）: ガウス混合モデルに対する$\ell_0$攻撃下のロバスト分類
• Authors: Payam Delgosha, Hamed Hassani, Ramtin Pedarsani
• Abstract要約: フィルタとトランケーションの2つの主要モジュールを持つFilTrunと呼ばれる新しい分類アルゴリズムを開発した。 敵対的摂動の効果が完全に中和できるかどうかを判断する敵対的予算の段階遷移など、興味深い行動を示すいくつかの例を議論する。
• 参考スコア（独自算出の注目度）: 39.414875342234204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that machine learning models are vulnerable to small but cleverly-designed adversarial perturbations that can cause misclassification. While there has been major progress in designing attacks and defenses for various adversarial settings, many fundamental and theoretical problems are yet to be resolved. In this paper, we consider classification in the presence of $\ell_0$-bounded adversarial perturbations, a.k.a. sparse attacks. This setting is significantly different from other $\ell_p$-adversarial settings, with $p\geq 1$, as the $\ell_0$-ball is non-convex and highly non-smooth. Under the assumption that data is distributed according to the Gaussian mixture model, our goal is to characterize the optimal robust classifier and the corresponding robust classification error as well as a variety of trade-offs between robustness, accuracy, and the adversary's budget. To this end, we develop a novel classification algorithm called FilTrun that has two main modules: Filtration and Truncation. The key idea of our method is to first filter out the non-robust coordinates of the input and then apply a carefully-designed truncated inner product for classification. By analyzing the performance of FilTrun, we derive an upper bound on the optimal robust classification error. We also find a lower bound by designing a specific adversarial strategy that enables us to derive the corresponding robust classifier and its achieved error. For the case that the covariance matrix of the Gaussian mixtures is diagonal, we show that as the input's dimension gets large, the upper and lower bounds converge; i.e. we characterize the asymptotically-optimal robust classifier. Throughout, we discuss several examples that illustrate interesting behaviors such as the existence of a phase transition for adversary's budget determining whether the effect of adversarial perturbation can be fully neutralized.
• Abstract（参考訳）: 機械学習モデルは、小さなが巧妙に設計された敵の摂動に対して脆弱であり、誤分類を引き起こすことはよく知られている。 様々な敵の設定に対する攻撃や防御の設計には大きな進展があったが、基本的な問題や理論的な問題が解決されていない。 本稿では,$\ell_0$-bounded adversarial perturbations, a.k.a の存在下での分類を考える。 まばらな攻撃だ この設定は他の$\ell_p$-adversarial設定と大きく異なり、$p\geq 1$は$\ell_0$-ballが非凸であり、非常に非滑らかである。 ガウス混合モデルに基づいてデータが分散されているという仮定の下で、我々の目標は、最適ロバスト分類器とそれに対応するロバスト分類誤差と、ロバスト性、精度、および敵の予算のトレードオフを特徴づけることである。 この目的のために,filtrunと呼ばれる2つの主モジュールを持つ新しい分類アルゴリズムを開発した。 提案手法の鍵となる考え方は,まず入力の非破壊座標をフィルタリングし,慎重に設計した内積を分類することである。 FilTrunの性能を解析することにより、最適なロバスト分類誤差に基づいて上限を求める。 また、対応するロバストな分類器とその達成された誤りを導出できる特定の逆戦略を設計することで、より低い境界を求める。 ガウス混合の共分散行列が対角的である場合、入力の次元が大きくなるにつれて上界と下界が収束することを示す。 漸近的最適ロバスト分類器を特徴付ける。 本報告では, 対人摂動の効果を完全に中和できるかどうかを判定する, 対人予算の相転移の存在など, 興味深い行動を示すいくつかの事例について論じる。

関連論文リスト

• Generalization Properties of Adversarial Training for $\ell_0$-Bounded Adversarial Attacks [47.22918498465056]
  本稿では,ニューラルネットワークの重要なクラスに対する対人訓練の性能を理論的に特徴付けることを目的とする。 この設定での一般化の導出には2つの大きな課題がある。
  論文  参考訳（メタデータ） (2024-02-05T22:57:33Z)
• Towards Compositional Adversarial Robustness: Generalizing Adversarial Training to Composite Semantic Perturbations [70.05004034081377]
  まず,合成逆数例を生成する新しい手法を提案する。 本手法は, コンポーネントワイド射影勾配勾配を利用して最適攻撃組成を求める。 次に,モデルロバスト性を$ell_p$-ballから複合意味摂動へ拡張するための一般化逆トレーニング(GAT)を提案する。
  論文  参考訳（メタデータ） (2022-02-09T02:41:56Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Beyond cross-entropy: learning highly separable feature distributions for robust and accurate classification [22.806324361016863]
  本稿では, 対角的ロバスト性を提供する, ディープロバストなマルチクラス分類器を訓練するための新しい手法を提案する。 提案手法に基づく潜在空間の正則化は,優れた分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-29T11:15:17Z)
• Classifier-independent Lower-Bounds for Adversarial Robustness [13.247278149124757]
  理論的には、テストタイムの逆数と雑音の分類例に対するロバスト性の限界を解析する。 最適輸送理論を用いて、与えられた分類問題に対して分類器ができるベイズ最適誤差の変分式を導出する。 一般的な距離ベース攻撃の場合,ベイズ最適誤差に対して明らかな下限を導出する。
  論文  参考訳（メタデータ） (2020-06-17T16:46:39Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。