論文の概要: The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification

• arxiv url: http://arxiv.org/abs/2107.00247v1
• Date: Thu, 1 Jul 2021 06:57:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-02 23:27:42.593562
• Title: The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification
• Title（参考訳）: 分類における分布パラメータと精度・ロバスト性トレードオフの相互作用
• Authors: Alireza Mousavi Hosseini, Amir Mohammad Abouei, Mohammad Hossein Rohban
• Abstract要約: アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training tends to result in models that are less accurate on natural (unperturbed) examples compared to standard models. This can be attributed to either an algorithmic shortcoming or a fundamental property of the training data distribution, which admits different solutions for optimal standard and adversarial classifiers. In this work, we focus on the latter case under a binary Gaussian mixture classification problem. Unlike earlier work, we aim to derive the natural accuracy gap between the optimal Bayes and adversarial classifiers, and study the effect of different distributional parameters, namely separation between class centroids, class proportions, and the covariance matrix, on the derived gap. We show that under certain conditions, the natural error of the optimal adversarial classifier, as well as the gap, are locally minimized when classes are balanced, contradicting the performance of the Bayes classifier where perfect balance induces the worst accuracy. Moreover, we show that with an $\ell_\infty$ bounded perturbation and an adversarial budget of $\epsilon$, this gap is $\Theta(\epsilon^2)$ for the worst-case parameters, which for suitably small $\epsilon$ indicates the theoretical possibility of achieving robust classifiers with near-perfect accuracy, which is rarely reflected in practical algorithms.
• Abstract（参考訳）: 敵対的訓練は、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、最適標準と逆分類器の異なる解を許容する訓練データ分布のアルゴリズム的欠点または基本的な性質に起因する。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点を当てる。 従来の研究とは異なり、最適なベイズと逆分類器の間の自然な精度ギャップを導出し、異なる分布パラメータ、すなわちクラスセントロイド、クラス比率、共分散行列の分離が導出ギャップに及ぼす影響について研究することを目的としている。 一定の条件下では、最適逆分類器の自然な誤差とギャップは、クラスが均衡しているときに局所的に最小化され、完全なバランスが最悪の精度をもたらすベイズ分類器の性能と矛盾することを示す。 さらに、$\ell_\infty$有界摂動と$\epsilon$の逆の予算で、このギャップは、最悪の場合のパラメータに対して$\Theta(\epsilon^2)$であることを示す。

関連論文リスト

• Adaptive $k$-nearest neighbor classifier based on the local estimation of the shape operator [49.87315310656657]
  我々は, 局所曲率をサンプルで探索し, 周辺面積を適応的に定義する適応型$k$-nearest(kK$-NN)アルゴリズムを提案する。 多くの実世界のデータセットから、新しい$kK$-NNアルゴリズムは、確立された$k$-NN法と比較してバランスの取れた精度が優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-08T13:08:45Z)
• Understanding the Impact of Adversarial Robustness on Accuracy Disparity [18.643495650734398]
  対向ロバスト性の影響を2つの部分に分解する: 頑健性制約により全てのクラスで標準精度を低下させる固有の効果と、クラス不均衡比によって引き起こされる影響である。 以上の結果から,実世界のデータセットよりも非線形モデルに拡張できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-28T20:46:51Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Predict then Interpolate: A Simple Algorithm to Learn Stable Classifiers [59.06169363181417]
  Predict then Interpolate (PI) は環境全体にわたって安定な相関関係を学習するためのアルゴリズムである。 正しい予測と間違った予測の分布を補間することにより、不安定な相関が消えるオラクル分布を明らかにすることができる。
  論文  参考訳（メタデータ） (2021-05-26T15:37:48Z)
• Robust Classification Under $\ell_0$ Attack for the Gaussian Mixture Model [39.414875342234204]
  フィルタとトランケーションの2つの主要モジュールを持つFilTrunと呼ばれる新しい分類アルゴリズムを開発した。 敵対的摂動の効果が完全に中和できるかどうかを判断する敵対的予算の段階遷移など、興味深い行動を示すいくつかの例を議論する。
  論文  参考訳（メタデータ） (2021-04-05T23:31:25Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Classifier-independent Lower-Bounds for Adversarial Robustness [13.247278149124757]
  理論的には、テストタイムの逆数と雑音の分類例に対するロバスト性の限界を解析する。 最適輸送理論を用いて、与えられた分類問題に対して分類器ができるベイズ最適誤差の変分式を導出する。 一般的な距離ベース攻撃の場合,ベイズ最適誤差に対して明らかな下限を導出する。
  論文  参考訳（メタデータ） (2020-06-17T16:46:39Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。