論文の概要: Average Certified Radius is a Poor Metric for Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2410.06895v1
• Date: Wed, 9 Oct 2024 13:58:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 23:37:22.032208
• Title: Average Certified Radius is a Poor Metric for Randomized Smoothing
• Title（参考訳）: Average Certified Radiusは無作為な平滑化の指標である
• Authors: Chenhao Sun, Yuhao Mao, Mark Niklas Müller, Martin Vechev,
• Abstract要約: ランダムな平滑化により得られるロバスト性保証を評価するために,平均認定半径(ACR)が極めて低い指標であることを示す。 ACRは硬いものよりも簡単なサンプルの改良に敏感であることを示す。
• 参考スコア（独自算出の注目度）: 7.960121888896864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Randomized smoothing is a popular approach for providing certified robustness guarantees against adversarial attacks, and has become a very active area of research. Over the past years, the average certified radius (ACR) has emerged as the single most important metric for comparing methods and tracking progress in the field. However, in this work, we show that ACR is an exceptionally poor metric for evaluating robustness guarantees provided by randomized smoothing. We theoretically show not only that a trivial classifier can have arbitrarily large ACR, but also that ACR is much more sensitive to improvements on easy samples than on hard ones. Empirically, we confirm that existing training strategies that improve ACR reduce the model's robustness on hard samples. Further, we show that by focusing on easy samples, we can effectively replicate the increase in ACR. We develop strategies, including explicitly discarding hard samples, reweighing the dataset with certified radius, and extreme optimization for easy samples, to achieve state-of-the-art ACR, although these strategies ignore robustness for the general data distribution. Overall, our results suggest that ACR has introduced a strong undesired bias to the field, and better metrics are required to holistically evaluate randomized smoothing.
• Abstract（参考訳）: ランダムな平滑化は、敵の攻撃に対して証明された堅牢性を保証するための一般的なアプローチであり、非常に活発な研究領域となっている。 過去数年間、平均認定半径(ACR)は、フィールドにおける手法の比較と進捗の追跡において最も重要な指標として現れてきた。 しかし,本研究では,ランダムな平滑化によって得られるロバスト性保証を評価するための指標として,ACRが極めて貧弱であることを示す。 理論的には、自明な分類器が任意に大きいACRを持つことができるだけでなく、ACRは硬いものよりも簡単なサンプルに対する改善に対してはるかに敏感であることを示す。 実験により、ACRを改善する既存のトレーニング戦略により、ハードサンプルに対するモデルの堅牢性が低下することが確認された。 さらに,簡単なサンプルに注目することで,ACRの増加を効果的に再現できることを示す。 これらの戦略は, 一般的なデータ分布に対するロバスト性を無視しつつも, 厳密なサンプルを明示的に破棄し, 認証された半径でデータセットを再考し, 簡単なサンプルを極端に最適化し, 最先端のACRを実現する戦略を開発する。 全体として、ACRはフィールドに強い望ましくないバイアスをもたらしており、より優れたメトリクスがランダムな平滑化を評価するために必要である。

関連論文リスト

• Controllable RANSAC-based Anomaly Detection via Hypothesis Testing [7.10052009802944]
  RANSAC(制御可能なRANSAC)により得られた異常検出結果をテストするための新しい統計的手法を提案する。 提案手法の主な強みは、予め特定されたレベル以下の異常を誤識別する確率を制御できることにある。 合成および実世界のデータセットで行った実験は、我々の理論結果をしっかりと支えている。
  論文  参考訳（メタデータ） (2024-10-19T15:15:41Z)
• The Vital Role of Gradient Clipping in Byzantine-Resilient Distributed Learning [8.268485501864939]
  ビザンチン耐性の分散機械学習は、不正行為や敵対的労働者の存在下で、堅牢な学習性能を達成することを目指している。 最先端(SOTA)の頑健な分散勾配降下法(DGD)は理論的に最適であることが証明されているが、その実験的な成功は、しばしば前凝集勾配クリッピングに依存している。 本稿では,アダプティブロバストクリッピングARC(Adaptive Robust ClippingARC)と呼ばれる適応型クリッピング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-23T11:00:31Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Robust Generalization against Photon-Limited Corruptions via Worst-Case Sharpness Minimization [89.92932924515324]
  ロバスト一般化は、トレーニングセットで稀であり、厳しいノイズを含む最も困難なデータ分散に取り組むことを目的としている。 分散ロバスト最適化(DRO)のような一般的なソリューションは、低いトレーニングエラーを保証するための最悪の経験的リスクに焦点を当てている。 本稿では,学習パラメータの近傍における損失変化を計測し,最悪ケース分布の鋭さをペナルティ化し,シャープDROを提案する。 シャープDROは、汚職に対する強力な一般化能力を示し、高い性能向上を有するよく知られたベースライン法を超えることを示す。
  論文  参考訳（メタデータ） (2023-03-23T07:58:48Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Input-Specific Robustness Certification for Randomized Smoothing [76.76115360719837]
  本稿では,ロバストネス認証の費用対効果を達成するために,インプット・スペクティブ・サンプリング(ISS)の高速化を提案する。 ISSは、認定半径0.05の限られたコストで3回以上、認定をスピードアップすることができる。
  論文  参考訳（メタデータ） (2021-12-21T12:16:03Z)
• Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
  本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。 我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。 単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
  論文  参考訳（メタデータ） (2021-08-25T22:43:20Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。