論文の概要: How Does Bayes Error Limit Probabilistic Robust Accuracy

• arxiv url: http://arxiv.org/abs/2405.14923v1
• Date: Thu, 23 May 2024 17:51:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:37:06.275662
• Title: How Does Bayes Error Limit Probabilistic Robust Accuracy
• Title（参考訳）: ベイズエラーはどのようにして確率論的ロバスト精度を制限するのか
• Authors: Ruihan Zhang, Jun Sun,
• Abstract要約: 敵対的な例は、ニューラルネットワーク上に構築された多くのクリティカルシステムにセキュリティ上の脅威をもたらす。 近傍に同じラベルを持つ確率は$ge 1-kappa$である。 確率的ロバストネスの訓練方法は、依然として非自明な精度損失を経験する。
• 参考スコア（独自算出の注目度）: 3.350980549219263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial examples pose a security threat to many critical systems built on neural networks. Given that deterministic robustness often comes with significantly reduced accuracy, probabilistic robustness (i.e., the probability of having the same label with a vicinity is $\ge 1-\kappa$) has been proposed as a promising way of achieving robustness whilst maintaining accuracy. However, existing training methods for probabilistic robustness still experience non-trivial accuracy loss. It is unclear whether there is an upper bound on the accuracy when optimising towards probabilistic robustness, and whether there is a certain relationship between $\kappa$ and this bound. This work studies these problems from a Bayes error perspective. We find that while Bayes uncertainty does affect probabilistic robustness, its impact is smaller than that on deterministic robustness. This reduced Bayes uncertainty allows a higher upper bound on probabilistic robust accuracy than that on deterministic robust accuracy. Further, we prove that with optimal probabilistic robustness, each probabilistically robust input is also deterministically robust in a smaller vicinity. We also show that voting within the vicinity always improves probabilistic robust accuracy and the upper bound of probabilistic robust accuracy monotonically increases as $\kappa$ grows. Our empirical findings also align with our results.
• Abstract（参考訳）: 敵対的な例は、ニューラルネットワーク上に構築された多くのクリティカルシステムにセキュリティ上の脅威をもたらす。 決定論的ロバスト性は、しばしば大幅に精度が低下するので、確率的ロバスト性(つまり、近傍に同じラベルを持つ確率は$\ge 1-\kappa$)は、精度を維持しながらロバスト性を達成する有望な方法として提案されている。 しかし、確率的ロバスト性に関する既存の訓練手法は、未だに非自明な精度の損失を経験している。 確率的ロバスト性に向けて最適化する場合の精度に上限があるか、および$\kappa$とこの境界の間に一定の関係があるかどうかは不明である。 本研究はベイズ誤差の観点からこれらの問題を研究する。 ベイズの不確実性は確率的ロバスト性に影響を与えるが、決定論的ロバスト性への影響は決定論的ロバスト性よりも小さい。 このベイズの不確実性を減らすことで、確率的ロバスト精度の上限は決定論的ロバスト精度よりも高い。 さらに、最適確率的ロバスト性により、各確率論的ロバスト入力がより小さな近傍で決定論的ロバストであることを証明する。 また, 近傍での投票は確率的ロバストな精度を常に向上させ, 確率的ロバストな精度の上限は$\kappa$の成長とともに単調に増大することを示した。 実験結果も結果と一致しています。

関連論文リスト

• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Certified Robust Accuracy of Neural Networks Are Bounded due to Bayes Errors [3.350980549219263]
  認定トレーニングは頑丈さを向上するが、精度も著しく低下する。 正確性を保ちながら頑健性を達成するための一定の基本的限界があるかどうかは不明である。 ベイズ誤差をロバスト性解析に適用することにより、確証されたロバスト精度の限界について検討する。
  論文  参考訳（メタデータ） (2024-05-19T13:23:05Z)
• Robustness Guarantees for Credal Bayesian Networks via Constraint Relaxation over Probabilistic Circuits [16.997060715857987]
  本研究では,決定関数のロバスト性を,断続ベイズ的ネットワークに対して定量化する手法を開発した。 回路サイズにおいて線形時間で MARmax 上の保証上限を得る方法を示す。
  論文  参考訳（メタデータ） (2022-05-11T22:37:07Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Handling Epistemic and Aleatory Uncertainties in Probabilistic Circuits [18.740781076082044]
  確率的推論の大規模クラスを扱うアプローチの背後にある独立性の仮定を克服する手法を提案する。 ベイズ学習のアルゴリズムは、完全な観察にもかかわらず、スパースから提供します。 そのような回路の各リーフは、不確実な確率を表すエレガントなフレームワークを提供するベータ分散ランダム変数でラベル付けされています。
  論文  参考訳（メタデータ） (2021-02-22T10:03:15Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Labels Are Not Perfect: Improving Probabilistic Object Detection via Label Uncertainty [12.531126969367774]
  これまでに提案した手法を用いて,真理境界ボックスパラメータに固有の不確かさを推定する。 KITTIデータセットを用いた実験結果から,本手法はベースラインモデルとモデルの両方を,平均精度で最大3.6%の精度で上回ることがわかった。
  論文  参考訳（メタデータ） (2020-08-10T14:49:49Z)
• Provable tradeoffs in adversarially robust classification [96.48180210364893]
  我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。 この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2020-06-09T09:58:19Z)
• Estimation of Accurate and Calibrated Uncertainties in Deterministic models [0.8702432681310401]
  我々は,決定論的予測を確率論的予測に変換する手法を考案した。 そのためには,そのようなモデルの精度と信頼性(校正)を損なう必要がある。 隠れたノイズを正確に回収できる合成データと、大規模な実世界のデータセットの両方について、いくつかの例を示す。
  論文  参考訳（メタデータ） (2020-03-11T04:02:56Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。