論文の概要: Average Certified Radius is a Poor Metric for Randomized Smoothing

• arxiv url: http://arxiv.org/abs/2410.06895v1
• Date: Wed, 9 Oct 2024 13:58:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 23:37:22.032208
• Title: Average Certified Radius is a Poor Metric for Randomized Smoothing
• Title（参考訳）: Average Certified Radiusは無作為な平滑化の指標である
• Authors: Chenhao Sun, Yuhao Mao, Mark Niklas Müller, Martin Vechev,
• Abstract要約: ランダムな平滑化により得られるロバスト性保証を評価するために,平均認定半径(ACR)が極めて低い指標であることを示す。 ACRは硬いものよりも簡単なサンプルの改良に敏感であることを示す。
• 参考スコア（独自算出の注目度）: 7.960121888896864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Randomized smoothing is a popular approach for providing certified robustness guarantees against adversarial attacks, and has become a very active area of research. Over the past years, the average certified radius (ACR) has emerged as the single most important metric for comparing methods and tracking progress in the field. However, in this work, we show that ACR is an exceptionally poor metric for evaluating robustness guarantees provided by randomized smoothing. We theoretically show not only that a trivial classifier can have arbitrarily large ACR, but also that ACR is much more sensitive to improvements on easy samples than on hard ones. Empirically, we confirm that existing training strategies that improve ACR reduce the model's robustness on hard samples. Further, we show that by focusing on easy samples, we can effectively replicate the increase in ACR. We develop strategies, including explicitly discarding hard samples, reweighing the dataset with certified radius, and extreme optimization for easy samples, to achieve state-of-the-art ACR, although these strategies ignore robustness for the general data distribution. Overall, our results suggest that ACR has introduced a strong undesired bias to the field, and better metrics are required to holistically evaluate randomized smoothing.
• Abstract（参考訳）: ランダムな平滑化は、敵の攻撃に対して証明された堅牢性を保証するための一般的なアプローチであり、非常に活発な研究領域となっている。 過去数年間、平均認定半径(ACR)は、フィールドにおける手法の比較と進捗の追跡において最も重要な指標として現れてきた。 しかし,本研究では,ランダムな平滑化によって得られるロバスト性保証を評価するための指標として,ACRが極めて貧弱であることを示す。 理論的には、自明な分類器が任意に大きいACRを持つことができるだけでなく、ACRは硬いものよりも簡単なサンプルに対する改善に対してはるかに敏感であることを示す。 実験により、ACRを改善する既存のトレーニング戦略により、ハードサンプルに対するモデルの堅牢性が低下することが確認された。 さらに,簡単なサンプルに注目することで,ACRの増加を効果的に再現できることを示す。 これらの戦略は, 一般的なデータ分布に対するロバスト性を無視しつつも, 厳密なサンプルを明示的に破棄し, 認証された半径でデータセットを再考し, 簡単なサンプルを極端に最適化し, 最先端のACRを実現する戦略を開発する。 全体として、ACRはフィールドに強い望ましくないバイアスをもたらしており、より優れたメトリクスがランダムな平滑化を評価するために必要である。

関連論文リスト

• Controllable RANSAC-based Anomaly Detection via Hypothesis Testing [7.10052009802944]
  RANSAC(制御可能なRANSAC)により得られた異常検出結果をテストするための新しい統計的手法を提案する。 提案手法の主な強みは、予め特定されたレベル以下の異常を誤識別する確率を制御できることにある。 合成および実世界のデータセットで行った実験は、我々の理論結果をしっかりと支えている。
  論文  参考訳（メタデータ） (2024-10-19T15:15:41Z)
• The Vital Role of Gradient Clipping in Byzantine-Resilient Distributed Learning [8.268485501864939]
  ビザンチン耐性の分散機械学習は、不正行為や敵対的労働者の存在下で、堅牢な学習性能を達成することを目指している。 最先端(SOTA)の頑健な分散勾配降下法(DGD)は理論的に最適であることが証明されているが、その実験的な成功は、しばしば前凝集勾配クリッピングに依存している。 本稿では,アダプティブロバストクリッピングARC(Adaptive Robust ClippingARC)と呼ばれる適応型クリッピング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-23T11:00:31Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• Input-Specific Robustness Certification for Randomized Smoothing [76.76115360719837]
  本稿では,ロバストネス認証の費用対効果を達成するために,インプット・スペクティブ・サンプリング(ISS)の高速化を提案する。 ISSは、認定半径0.05の限られたコストで3回以上、認定をスピードアップすることができる。
  論文  参考訳（メタデータ） (2021-12-21T12:16:03Z)
• Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
  本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。 我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。 単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
  論文  参考訳（メタデータ） (2021-08-25T22:43:20Z)
• Boosting Randomized Smoothing with Variance Reduced Classifiers [4.110108749051657]
  ランダム化平滑化(Randomized Smoothing, RS)のベースモデルとして, アンサンブルが特に適した選択である理由を考察する。 我々は、この選択を実証的に確認し、複数の設定でアート結果の状態を取得する。
  論文  参考訳（メタデータ） (2021-06-13T08:40:27Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Data Dependent Randomized Smoothing [127.34833801660233]
  データ依存フレームワークは、3つのランダムな平滑化アプローチにシームレスに組み込むことができます。 CIFAR10とImageNetで0.5の半径の最強ベースラインの認定精度よりも9%と6%の改善が得られています。
  論文  参考訳（メタデータ） (2020-12-08T10:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。